V tomto článku
Co je zprostředkovatel spouštění?
Komponenty AI zprostředkovatele spouštění jsou komponenty Windows AI, které se používají na počítačích Copilot+ k povolení hardwarově zrychleného spouštění modelů strojového učení. Tyto komponenty fungují jako vrstva abstrakce hardwaru mezi modely AI a základními výpočetními moduly, jako jsou procesory, GPU a NPU, což umožňuje systému Windows a aplikacím efektivně spouštět úlohy AI na nejlepším dostupném hardwaru.
Poskytovatel spouštění je modulární komponenta, která se integruje s modulem RUNTIME ONNX, aby poskytovala hardwarové optimalizace pro odvozování AI. Zprostředkovatelé spouštění zpracovávají úlohy, jako je dělení grafů, výběr jádra a provádění operátorů, a zároveň abstrahují složitost knihoven akcelerace specifických pro dodavatele. Tento návrh umožňuje, aby jeden model AI běžel napříč různými hardwarovými konfiguracemi bez nutnosti změn na úrovni aplikace.
Na počítačích Copilot+ podporují komponenty AI zprostředkovatele spouštění více hardwarových platforem a dodavatelů procesorů. Mezi příklady patří poskytovatelé spouštění optimalizovaní pro hardware Intel, AMD, Qualcomm a NVIDIA, z nichž každý umožňuje modelům AI využívat výhody specializovaných akcelerátorů, jako jsou NPU nebo GPU, pokud jsou k dispozici. Pokud se hardwarová akcelerace pro danou úlohu nepodporuje, spouštění se automaticky vrátí do kompatibilního výpočetního back-endu, což zajišťuje spolehlivost a širokou kompatibilitu zařízení.
Komponenty AI zprostředkovatele spouštění jsou základní součástí platformy Windows AI. Používají je funkce Systému Windows, prostředí Copilot+ a vývojářské aplikace, které spoléhají na odvození místní umělé inteligence. Díky dynamickému výběru a správě zprostředkovatelů spouštění může systém Windows poskytovat výkon s nízkou latencí, vyšší efektivitu napájení a konzistentní chování AI napříč různými konfiguracemi zařízení.
Zprostředkovatel spouštění MIGraphX
Zprostředkovatel spouštění MIGraphX je zprostředkovatel spouštění AMD, který se používá s modulem RUNTIME ONNX / strojovém učením s Windows k poskytování hardwarově akcelerovaných odvozování přesměrováním podporovaných operací modelu ONNX na gpu AMD. Je založená na modulu odvozování grafů MIGraphX společnosti AMD, který urychluje odvozování modelů strojového učení a umožňuje optimalizace specifické pro hardware při spouštění modelů ONNX na hardwaru AMD GPU.
Zprostředkovatel spouštění NVIDIA TensorRT-RTX
Zprostředkovatel spouštění NVIDIA TensorRT-RTX je zprostředkovatel spouštění strojového učení ONNX Runtime / Windows navržený speciálně pro urychlení odvozování modelů ONNX na GPU NVIDIA RTX pro scénáře zaměřené na klienty (počítače s koncovými uživateli). Využívá modul runtime TensorRT od společnosti NVIDIA pro RTX ke generování a spouštění odvozovacích modulů optimalizovaných pro RTX na místním GPU, což umožňuje systému Windows a aplikacím využívat výhod hardwarové akcelerace RTX.
Intel OpenVINO Execution Provider
Zprostředkovatel spuštění Intel OpenVINO je zprostředkovatel spouštění, který se používá se službou ONNX Runtime / strojové učení s Windows k povolení hardwarově akcelerovaných odvozování na platformách Intel. Zrychluje modely ONNX na procesorech Intel, GPU a NPU a umožňuje tak systému Windows a aplikacím využívat výhody optimalizace hardwaru Intel pro úlohy strojového učení.
Zprostředkovatel spouštění Qualcomm QNN
Zprostředkovatel spouštění Qualcomm QNN je zprostředkovatel spouštění pro modul runtime ONNX (a scénáře strojového učení s Windows, které používají modul ONNX Runtime), který umožňuje hardwarově zrychlené spouštění na čipových sadách Qualcomm. Používá sadu Qualcomm AI Engine Direct SDK (QNN SDK) k vytvoření grafu QNN z modelu ONNX, který se pak spustí v podporované back-endové knihovně akcelerátoru.
Zprostředkovatel spuštění AMD Vitis AI
Zprostředkovatel spuštění AMD Vitis AI je zprostředkovatel spouštění používaný s modulem runtime ONNX / strojovým učením s Windows, který umožňuje hardwarově akcelerované odvozování AI na platformách AMD. Vitis AI je vývojový zásobník amd pro hardwarově akcelerované odvozování AI a cílí na platformy AMD, včetně ryzen AI, adaptérů AMD Adaptable SoC a karet Pro akceleraci datového centra Alveo.
