Sadržaj članka
Što je davatelj izvršenja?
Komponente AI davatelja izvršavanja komponente su sustava Windows AI koje se koriste na pc-jevima Copilot+ radi omogućivanja hardverski ubrzanog izvršavanja modela strojnog učenja. Te komponente funkcioniraju kao sloj apstrakcije hardvera između modela AI i temeljnih računalnih modula, kao što su CPU-ovi, GPU-ovi i NPU-ovi, što sustavu Windows i aplikacijama omogućuje učinkovito pokretanje radnih opterećenja AI-ja na najboljem dostupnom hardveru.
Davatelj izvršenja (EP) modularna je komponenta koja se integrira s komponentom ONNX Runtime radi isporuke optimizacija specifičnih za hardver za AI inferenciju. Davatelji izvršavanja rukuju zadacima kao što su particioniranje grafikona, odabir jezgre i izvršavanje operatora, a istodobno apstraktnu složenost biblioteka ubrzanja specifičnih za dobavljača. Taj dizajn omogućuje da jedan AI model radi na različitim hardverskim konfiguracijama bez potrebe za promjenama na razini aplikacije.
Na PC-jevima Copilot+ davatelj usluga izvršenja AI podržavaju više hardverskih platformi i proizvođača silikonskih procesora. Primjeri obuhvaćaju davatelje usluga izvršenja optimizirane za hardver Tvrtke Intel, AMD, Qualcomm i NVIDIA, a svaki model AI omogućuje korištenje specijaliziranih akceleratora kao što su NPU-i ili GPU-i kada su dostupni. Kada hardversko ubrzanje nije podržano za određeno radno opterećenje, izvršavanje se automatski vraća na kompatibilni računalni pozadinski sustav, čime se jamči pouzdanost i široka kompatibilnost uređaja.
Komponente davatelja usluga izvršenja AI temeljni su dio platforme Windows AI. Koriste ih značajke sustava Windows, okruženja Copilot+ i aplikacije za razvojne inženjere koje se koriste lokalnim AI-jem. Dinamičkim odabirom davatelja usluga izvršenja i upravljanjem sustavom Windows može isporučiti performanse niske latencije, poboljšanu učinkovitost napajanja i dosljedno ponašanje AI-ja u različitim konfiguracijama uređaja.
Davatelj izvršavanja MIGraphX-a
Davatelj izvođenja MIGraphX-a davatelj je izvođenja (EP) tvrtke AMD koji se koristi uz onnx runtime / strojno učenje sustava Windows (ML) radi isporuke hardverski ubrzanog zakašnjenja prijenosom podržanih operacija modela ONNX amd GPU-ima. Temelji se na AMD-ovom modulu za miGraphX grafove koji ubrzava inferenciju modela strojnog učenja i omogućuje optimizacije specifične za hardver prilikom pokretanja modela ONNX na hardveru AMD GPU- a.
NVIDIA TensorRT‑RTX Execution Provider
Nvidia TensorRT-RTX Execution Provider je onnx Runtime / Windows ML execution provider (EP) dizajniran posebno za ubrzavanje inferencije modela ONNX na NVIDIA RTX GPUs za klijentski usmjereni (krajnji korisnik PC) scenarija. Koristi NVIDIA-in TensorRT za RTX vrijeme izvođenja za generiranje i pokretanje modula za izvođenje optimiziranih za RTX na lokalnom GPU-u, što omogućuje sustavu Windows i aplikacijama da iskoriste prednosti hardverskog ubrzanja RTX-a.
Davatelj izvođenja programa Intel OpenVINO
Intel OpenVINO Execution Provider davatelj je izvršenja (EP) koji se koristi s programom ONNX Runtime / Windows ML radi omogućivanja hardverski ubrzanog zakašnjenja na Intel platformama. Ubrzava modele ONNX na intelskim CPU-ima, GPU-ima i NPU-ima, što sustavu Windows i aplikacijama omogućuje korištenje prednosti Hardverskih optimizacija tvrtke Intel za radna opterećenja strojnog učenja.
Davatelj izvršavanja QNN-a qualcomm
Qualcomm QNN Execution Provider davatelj je izvršenja (EP) za scenarije ONNX Runtime (i Windows ML koji koriste ONNX Runtime) koji omogućuje hardverski ubrzano izvršavanje na čipsetovima Qualcomm. Koristi Qualcomm AI Engine Direct SDK (QNN SDK) za sastavljanje QNN grafa iz modela ONNX, koji zatim izvršava podržana biblioteka ubrzivača.
Davatelj izvršenja amd Vitis AI
Amd Vitis AI Execution Provider davatelj je izvršenja koji se koristi s platformom ONNX Runtime / Windows ML koji omogućuje hardverski ubrzani AI na AMD platformama. U Objavljenom Microsoftovu izdanju Vitis AI razvojni je stog tvrtke AMD za hardverski ubrzani AI inferencije i cilja platforme TVRTKE AMD, uključujući Ryzen AI, AMD prilagodljive soc-ove i alveo kartice ubrzanja podatkovnog centra.
