V tomto článku
Co je zprostředkovatel spouštění?
Komponenty AI zprostředkovatele spouštění jsou komponenty Windows AI, které se používají na počítačích Copilot+ k povolení hardwarově zrychleného spouštění modelů strojového učení. Tyto komponenty fungují jako vrstva abstrakce hardwaru mezi modely AI a základními výpočetními moduly, jako jsou procesory, GPU a NPU, což umožňuje systému Windows a aplikacím efektivně spouštět úlohy AI na nejlepším dostupném hardwaru.
Poskytovatel spouštění (EP) je modulární komponenta, která se integruje s modulem RUNTIME ONNX, aby poskytovala optimalizace specifické pro hardware pro odvozování AI. Zprostředkovatelé spouštění zpracovávají úlohy, jako je dělení grafů, výběr jádra a provádění operátorů, a zároveň abstrahují složitost knihoven akcelerace specifických pro dodavatele. Tento návrh umožňuje, aby jeden model AI běžel napříč různými hardwarovými konfiguracemi bez nutnosti změn na úrovni aplikace.
Na počítačích Copilot+ podporují komponenty AI zprostředkovatele spouštění více hardwarových platforem a dodavatelů procesorů. Mezi příklady patří poskytovatelé spouštění optimalizovaní pro hardware Intel, AMD, Qualcomm a NVIDIA, z nichž každý umožňuje modelům AI využívat výhody specializovaných akcelerátorů, jako jsou NPU nebo GPU, pokud jsou k dispozici. Pokud se hardwarová akcelerace pro danou úlohu nepodporuje, spouštění se automaticky vrátí do kompatibilního výpočetního back-endu, což zajišťuje spolehlivost a širokou kompatibilitu zařízení.
Komponenty AI zprostředkovatele spouštění jsou základní součástí platformy Windows AI. Používají je funkce Systému Windows, prostředí Copilot+ a vývojářské aplikace, které spoléhají na odvození místní umělé inteligence. Díky dynamickému výběru a správě zprostředkovatelů spouštění může systém Windows poskytovat výkon s nízkou latencí, vyšší efektivitu napájení a konzistentní chování AI napříč různými konfiguracemi zařízení.
Zprostředkovatel spouštění MIGraphX
Zprostředkovatel spouštění MIGraphX je zprostředkovatel spuštění AMD (EP), který se používá s modulem RUNTIME ONNX nebo strojovém učením Windows (ML) k poskytování hardwarově akcelerovaných odvozování přesměrováním podporovaných operací modelu ONNX na gpu AMD. Je založená na modulu odvozování grafů MIGraphX společnosti AMD, který urychluje odvozování modelů strojového učení a umožňuje optimalizace specifické pro hardware při spouštění modelů ONNX na hardwaru AMD GPU.
Zprostředkovatel spouštění NVIDIA TensorRT-RTX
Zprostředkovatel spouštění NVIDIA TensorRT-RTX je zprostředkovatel spuštění ONNX Runtime / Windows ML (EP) navržený speciálně pro zrychlení odvozování modelů ONNX na GPU NVIDIA RTX pro scénáře zaměřené na klienty (počítače koncového uživatele). Využívá modul runtime TensorRT od společnosti NVIDIA pro RTX ke generování a spouštění odvozovacích modulů optimalizovaných pro RTX na místním GPU, což umožňuje systému Windows a aplikacím využívat výhod hardwarové akcelerace RTX.
Intel OpenVINO Execution Provider
Intel OpenVINO Execution Provider je zprostředkovatel spouštění (EP) používaný s modulem RUNTIME ONNX / Windows ML k povolení hardwarově akcelerovaných odvozování na platformách Intel. Zrychluje modely ONNX na procesorech Intel, GPU a NPU a umožňuje tak systému Windows a aplikacím využívat výhody optimalizace hardwaru Intel pro úlohy strojového učení.
Zprostředkovatel spouštění Qualcomm QNN
Zprostředkovatel spouštění Qualcomm QNN je zprostředkovatel spouštění (EP) pro modul runtime ONNX (a scénáře Windows ML, které používají modul ONNX Runtime), který umožňuje hardwarově zrychlené spouštění na čipových sadách Qualcomm. Používá sadu Qualcomm AI Engine Direct SDK (QNN SDK) k vytvoření grafu QNN z modelu ONNX, který se pak spustí v podporované back-endové knihovně akcelerátoru.
Zprostředkovatel spuštění AMD Vitis AI
Zprostředkovatel spuštění AMD Vitis AI je zprostředkovatel spouštění používaný s modulem runtime ONNX / Windows ML, který umožňuje hardwarově akcelerované odvozování AI na platformách AMD. Vitis AI je v publikované formulaci Microsoftu vývojovým zásobníkem amd pro hardwarově akcelerované odvozování AI a cílí na platformy AMD, včetně Ryzen AI, adaptérů AMD Adaptable SoC a karet pro akceleraci datového centra Alveo.
