Obsah tohto článku
Čo je poskytovateľ spustenia?
Súčasti AI poskytovateľa spúšťania sú súčasti windowsovej AI, ktoré sa používajú v počítačoch Copilot+ na povolenie hardvérovo zrýchleného vykonávania modelov strojového učenia. Tieto súčasti slúžia ako vrstva hardvérovej abstrakcie medzi modelmi AI a základnými výpočtovými zariadeniami, ako sú napríklad procesory, procesory GPU a NPU, čo umožňuje Windowsu a aplikáciám efektívne spúšťať vyťaženia umelej inteligencie na najlepšom dostupnom hardvéri.
Poskytovateľ spustenia je modulárna súčasť, ktorá sa integruje s modulom ONNX Runtime na poskytovanie hardvérových optimalizácií pre závery AI. Poskytovatelia spúšťania spracovávajú úlohy, ako napríklad rozdelenie grafov, výber jadra a spúšťanie operátorov, a zároveň abstraktujú zložitosť knižníc zrýchlenia špecifických pre dodávateľa. Tento návrh umožňuje spustenie jedného modelu AI v rôznych hardvérových konfiguráciách bez toho, aby sa vyžadovali zmeny na úrovni aplikácie.
V počítačoch Copilot+ podporujú súčasti AI poskytovateľa spustenia viaceré hardvérové platformy a dodávateľov Silicon. Príkladmi sú poskytovatelia spustenia optimalizovaní pre hardvér Intel, AMD, Syriz a NVIDIA, pričom každý umožňuje modelom AI využívať špecializované urýchľovače, ako sú napríklad NPU alebo GPU, ak sú k dispozícii. Ak hardvérové urýchľovanie nie je podporované pre dané vyťaženie, spustenie automaticky prejde späť na kompatibilný server na výpočet, čím sa zabezpečí spoľahlivosť a široká kompatibilita zariadenia.
Súčasti AI poskytovateľa spustenia sú základnou súčasťou platformy AI systému Windows. Používajú ich funkcie Windowsu, funkcie Copilot+ a vývojárske aplikácie, ktoré závisia od lokálnej inferencie umelej inteligencie. Dynamickým výberom a spravovaním poskytovateľov spúšťania môže Windows poskytovať výkon s nízkym oneskorením, vylepšenú účinnosť napájania a konzistentné správanie umelej inteligencie v rôznych konfiguráciách zariadení.
Poskytovateľ spustenia MIGraphX
Poskytovateľ spúšťania MIGraphX je poskytovateľ spúšťania AMD, ktorý sa používa s funkciou ONNX Runtime/strojovým učením systému Windows na poskytovanie hardvérovo zrýchlenej inferencie načítaním podporovaných operácií modelu ONNX do PROCESOROV AMD. Je založený na nástroji na odvodzovanie grafov MIGraphX spoločnosti AMD, ktorý urýchľuje odvodzovanie modelu strojového učenia a umožňuje optimalizácie špecifické pre hardvér pri spúšťaní modelov ONNX na hardvéri GPU AMD.
Poskytovateľ spustenia NVIDIA TensorRT-RTX
Poskytovateľ spustenia NVIDIA TensorRT-RTX je onnx runtime/windows machine-learning execution provider navrhnutý špeciálne na urýchlenie inferencie modelu ONNX na GPU NVIDIA RTX pre scenáre klient-centrické (end-user PC). Využíva nástroj NVIDIA TensorRT pre modul RTX runtime na generovanie a spúšťanie modulov záverov optimalizovaných pre RTX v lokálnej gpu, čo umožňuje Windowsu a aplikáciám využívať hardvérové urýchľovanie RTX.
Poskytovateľ spustenia Intel OpenVINO
Intel OpenVINO Execution Provider je poskytovateľ spustenia používaný s ONNX Runtime / Windows machine-learning, aby hardvérovo zrýchlený záver na platformách Intel. Urýchľuje modely ONNX v procesoroch Intel, procesoroch GPU a NPU, čo umožňuje Windowsu a aplikáciám využívať hardvérové optimalizácie intel pre vyťaženia strojového učenia.
Poskytovateľ spustenia QNN v spoločnosti Nn
Poskytovateľ spustenia VLN QNN je poskytovateľom spustenia pre onnx runtime (a scenáre strojového učenia systému Windows, ktoré používajú ONNX Runtime), ktorý umožňuje hardvérovo zrýchlené vykonanie v čipových súpravách v Spoločnosti Čosi. Používa súpravu Dll AI Engine Direct SDK (QNN SDK) na výstavbu QNN grafu z modelu ONNX, ktorý potom vykonáva podporovaná knižnica backend urýchľovača.
Poskytovateľ spustenia AMD Vitis AI
Amd Vitis AI Execution Provider je poskytovateľ spustenia používaný s ONNX Runtime / Windows machine-learning, ktorý umožňuje hardvérovo zrýchlené AI záver na platformách AMD. Vitis AI je vývojOVÝ zásobník AMD pre hardvérovo zrýchlenú inferenciu umelej inteligencie a zameriava sa na platformy AMD vrátane Ryzen AI, ADAPTABLE SOCs AMD a kariet urýchľovania údajového centra Alveo.
