במאמר זה
מהו ספק ביצוע?
רכיבי ספק הבינה המלאכותית של ספק הביצוע הם רכיבי הבינה המלאכותית של Windows המשמשים במחשבי Copilot+ כדי לאפשר הפעלה המואצת בחומרה של מודלים של למידת מכונה. רכיבים אלה משמשים כשכבת הפשטת החומרה בין מודלים של בינה מלאכותית לבין מנועי המיחשוב המשמשים כ הבסיס - כגון יחידות CPU, יחידות GPU ו- NPUs - המאפשרים ל- Windows ולאפליקציות להפעיל עומסי עבודה של בינה מלאכותית ביעילות על החומרה הזמינה הטובה ביותר.
ספק ביצוע (EP) הוא רכיב מודולרי שמשתלב עם זמן הריצה של ONNX כדי לספק מיטובים ספציפיים לחומרה עבור הסקת בינה מלאכותית. ספקי ביצוע מטפלים במשימות כגון חלוקה למחיצות בגרף, בחירת ליבה וביצוע אופרטורים, תוך הפשטת המורכבות של ספריות האצה ספציפיות לספק. עיצוב זה מאפשר למודל בינה מלאכותית יחיד לפעול בין תצורות חומרה מגוונות ללא צורך בשינויים ברמת היישום.
במחשבי Copilot+ , רכיבי ספק הבינה המלאכותית של ספק הביצוע תומכים בפלטפורמות חומרה מרובות ובספקי סיליקון. דוגמאות לכך כוללות ספקי ביצוע הממוטב עבור החומרה Intel, AMD, Qualcomm ו- NVIDIA, שכל אחד מהם מאפשר למודלים של בינה מלאכותית לנצל מאיצים ייעודיים כגון NPUs או יחידות GPU כאשר הם זמינים. כאשר האצת חומרה אינה נתמכת עבור עומס עבודה נתון, הביצוע חוזר באופן אוטומטי לצד עורפי תואם של מיחשוב, ובכך מבטיח מהימנות ותאימות רחבה של המכשיר.
רכיבי הבינה המלאכותית של ספק הביצוע הם חלק מהפלטפורמה של הבינה המלאכותית של Windows. הן משמשות את תכונות Windows, חוויות Copilot+ ואפליקציות למפתחים ש מסתתסות על ההסקות המקומיות של בינה מלאכותית. על-ידי בחירה וניהול דינאמיים של ספקי ביצוע, Windows יכול לספק ביצועי השהיה נמוכה, יעילות צריכת חשמל משופרת והתצורות העקביות של בינה מלאכותית במגוון תצורות מכשירים.
ספק ביצוע MIGraphX
ספק הביצוע של MIGraphX הוא ספק ביצוע AMD (EP) המשמש עם זמן ריצה של ONNX / למידת מכונה של Windows (ML) כדי לספק הסקה המואצת בחומרה על-ידי העברת פעולות מודל ONNX נתמכות ל- AMD GPU. הוא מבוסס על מנוע ההסקה של MIGraphX Graph של AMD, אשר מאיץ את ההסקת מודל למידת המכונה ומאפשר מיטובים ספציפיים לחומרה בעת הפעלת מודלי ONNX בחומרת GPU של AMD.
ספק ביצוע NVIDIA TensorRT-RTX
ספק הביצוע של NVIDIA TensorRT-RTX הוא ONNX Runtime / ספק ביצוע של Windows ML (EP) המיועד במיוחד להאצת מסתעפים של מודל ONNX ב- NVIDIA RTX GPU עבור תרחישים ממוקדי לקוח (מחשב משתמש קצה). היא ממנפת את TensorRT של NVIDIA עבור זמן ריצה של RTX כדי ליצור ולהפעיל מנועי מסה ממוטבים של RTX ב- GPU המקומי, ומאפשרים ל- Windows ולאפליקציות לנצל את האצת החומרה של RTX.
ספק ביצוע של Intel OpenVINO
ספק הביצוע של Intel OpenVINO הוא ספק ביצוע (EP) המשמש עם זמן ריצה של ONNX / Windows ML כדי לאפשר הסקאות המואצות בחומרה בפלטפורמות Intel. היא מאיצה מודלי ONNX על מעבדי Intel, יחידות GPU ו- NPUs, ומאפשרת ל- Windows ולאפליקציות לנצל את מיטובי החומרה של Intel עבור עומסי עבודה של למידת מכונה.
ספק ביצוע QNN של Qualcomm
ספק הביצוע של QNN של Qualcomm הוא ספק ביצוע (EP) עבור זמן ריצה של ONNX (ותרחישי Windows ML המשתמשים בזמן ריצה של ONNX) המאפשר ביצוע המואץ על-ידי חומרה בערכות שבבי Qualcomm. הוא משתמש ב- Qualcomm AI Engine Direct SDK (QNN SDK) כדי לבנות גרף QNN ממודל ONNX, ולאחר מכן מתבצע על-ידי ספריית קצה של מאיץ נתמך.
ספק ביצוע בינה מלאכותית של AMD Vitis
ספק הביצוע של AMD Vitis AI הוא ספק ביצוע המשמש עם זמן ריצה של ONNX / Windows ML המאפשר להסיק בינה מלאכותית המואצת בחומרה בפלטפורמות AMD. ב- Wording שפורסם של Microsoft, Vitis AI היא ערימת הפיתוח של AMD להסקת בינה מלאכותית המואצת בחומרה, והיא מתמקדת בפלטפורמות AMD, כולל Ryzen AI, SOCs ניתנים להתאמה של AMD וכרטיסי האצת מרכז הנתונים של Alveo.
