Obsah tohto článku
Čo je poskytovateľ spustenia?
Súčasti AI poskytovateľa spúšťania sú súčasti windowsovej AI, ktoré sa používajú v počítačoch Copilot+ na povolenie hardvérovo zrýchleného vykonávania modelov strojového učenia. Tieto súčasti slúžia ako vrstva hardvérovej abstrakcie medzi modelmi AI a základnými výpočtovými zariadeniami, ako sú napríklad procesory, procesory GPU a NPU, čo umožňuje Windowsu a aplikáciám efektívne spúšťať vyťaženia umelej inteligencie na najlepšom dostupnom hardvéri.
Poskytovateľ spustenia (EP) je modulárna súčasť, ktorá sa integruje s modulom ONNX Runtime na poskytovanie optimalizácií špecifických pre hardvér pre závery AI. Poskytovatelia spúšťania spracovávajú úlohy, ako napríklad rozdelenie grafov, výber jadra a spúšťanie operátorov, a zároveň abstraktujú zložitosť knižníc zrýchlenia špecifických pre dodávateľa. Tento návrh umožňuje spustenie jedného modelu AI v rôznych hardvérových konfiguráciách bez toho, aby sa vyžadovali zmeny na úrovni aplikácie.
V počítačoch Copilot+ podporujú súčasti AI poskytovateľa spustenia viaceré hardvérové platformy a dodávateľov Silicon. Príkladmi sú poskytovatelia spustenia optimalizovaní pre hardvér Intel, AMD, Syriz a NVIDIA, pričom každý umožňuje modelom AI využívať špecializované urýchľovače, ako sú napríklad NPU alebo GPU, ak sú k dispozícii. Ak hardvérové urýchľovanie nie je podporované pre dané vyťaženie, spustenie automaticky prejde späť na kompatibilný server na výpočet, čím sa zabezpečí spoľahlivosť a široká kompatibilita zariadenia.
Súčasti AI poskytovateľa spustenia sú základnou súčasťou platformy AI systému Windows. Používajú ich funkcie Windowsu, funkcie Copilot+ a vývojárske aplikácie, ktoré závisia od lokálnej inferencie umelej inteligencie. Dynamickým výberom a spravovaním poskytovateľov spúšťania môže Windows poskytovať výkon s nízkym oneskorením, vylepšenú účinnosť napájania a konzistentné správanie umelej inteligencie v rôznych konfiguráciách zariadení.
Poskytovateľ spustenia MIGraphX
Poskytovateľ spúšťania MIGraphX je poskytovateľ spúšťania AMD (EP), ktorý sa používa s funkciou ONNX Runtime/strojovým učením systému Windows (ML) na poskytovanie hardvérovo zrýchlenej inferencie načítaním podporovaných operácií modelu ONNX do GPU AMD. Je založený na nástroji na odvodzovanie grafov MIGraphX spoločnosti AMD, ktorý urýchľuje odvodzovanie modelu strojového učenia a umožňuje optimalizácie špecifické pre hardvér pri spúšťaní modelov ONNX na hardvéri GPU AMD.
Poskytovateľ spustenia NVIDIA TensorRT-RTX
Poskytovateľ spustenia NVIDIA TensorRT-RTX je poskytovateľ spustenia ONNX Runtime/Windows ML execution provider (EP) navrhnutý špeciálne na urýchlenie odvodenia modelu ONNX v gpu NVIDIA RTX pre scenáre zamerané na klienta (počítač koncového používateľa). Využíva nástroj NVIDIA TensorRT pre modul RTX runtime na generovanie a spúšťanie modulov záverov optimalizovaných pre RTX v lokálnej gpu, čo umožňuje Windowsu a aplikáciám využívať hardvérové urýchľovanie RTX.
Poskytovateľ spustenia Intel OpenVINO
Intel OpenVINO Execution Provider je poskytovateľ spustenia (EP), ktorý sa používa s ONNX Runtime/ Windows ML na povolenie hardvérovo akcelerovanej inferencie na platformách Intel. Urýchľuje modely ONNX v procesoroch Intel, procesoroch GPU a NPU, čo umožňuje Windowsu a aplikáciám využívať hardvérové optimalizácie intel pre vyťaženia strojového učenia.
Poskytovateľ spustenia QNN v spoločnosti Nn
Poskytovateľ spustenia Hardware QNN Execution je poskytovateľom spustenia (EP) pre onnx runtime (a scenáre strojového učenia systému Windows, ktoré používajú ONNX Runtime), ktorý umožňuje hardvérovo zrýchlené vykonanie na čipových súpravách v Spoločnosti Čosi. Používa súpravu Dll AI Engine Direct SDK (QNN SDK) na výstavbu QNN grafu z modelu ONNX, ktorý potom vykonáva podporovaná knižnica backend urýchľovača.
Poskytovateľ spustenia AMD Vitis AI
AMD Vitis AI Execution Provider je poskytovateľ spustenia, ktorý sa používa s ONNX Runtime/Windows ML, ktorý umožňuje hardvérovo akcelerovanú inferenciu AI na platformách AMD. V publikovanom znení spoločnosti Microsoft je Vitis AI vývojovým zásobníkom AMD pre hardvérovo zrýchlenú inferenciu umelej inteligencie a zameriava sa na platformy AMD vrátane Ryzen AI, ADAPTABLE SOC AMD a kariet urýchľovania údajového centra Alveo.
