În acest articol
Ce este un furnizor de executare?
Componentele AI ale furnizorului de execuție sunt componente Windows AI utilizate pe PC-uri Copilot+ pentru a permite executarea accelerată hardware a modelelor de învățare programată. Aceste componente acționează ca un strat de abstractizare hardware între modelele AI și motoarele de calcul subiacente, cum ar fi CPU-uri, GPU-uri și NKU-uri, permițând Windows și aplicațiilor să ruleze eficient sarcini de lucru ai pe cel mai bun hardware disponibil.
Un furnizor de executare (EP) este o componentă modulară care se integrează cu ONNX Runtime pentru a livra optimizări specifice hardware-ului pentru deducerea inteligenței artificiale. Furnizorii de executare gestionează activități cum ar fi partiționarea graficului, selectarea kernelului și executarea operatorilor, abstractizând în același timp complexitatea bibliotecilor de accelerare specifice furnizorului. Această proiectare permite ca un singur model AI să ruleze în diverse configurații hardware, fără a necesita modificări la nivel de aplicație.
Pe PC-urile Copilot+, componentele AI ale furnizorului de execuție acceptă mai multe platforme hardware și furnizori de siliciu. Printre exemple se numără furnizorii de executare optimizați pentru hardware Intel, AMD, Qualcomm și NVIDIA, fiecare permițând modelelor AI să profite de acceleratoarele specializate, cum ar fi NKU-uri sau GPU-uri atunci când sunt disponibile. Atunci când accelerarea hardware nu este acceptată pentru un volum de lucru dat, executarea revine automat la un backend de calcul compatibil, asigurând fiabilitate și compatibilitate extinsă a dispozitivelor.
Componentele AI ale furnizorului de execuție sunt o parte fundamentală a platformei Inteligență artificială Windows. Acestea sunt utilizate de caracteristicile Windows, experiențele Copilot+ și aplicațiile pentru dezvoltatori care se bazează pe deducerea locală a inteligenței artificiale. Prin selectarea și gestionarea dinamică a furnizorilor de execuție, Windows poate oferi o performanță cu latență scăzută, o eficiență îmbunătățită a alimentării și un comportament consistent al inteligenței artificiale în diferite configurații de dispozitive.
Furnizor de executare MIGraphX
Furnizorul de executare MIGraphX este un furnizor de executare AMD (EP) utilizat cu ONNX Runtime/Windows machine-learning (ML) pentru a livra deducerea accelerată de hardware prin descărcarea operațiunilor de model ONNX acceptate în GPU-urile AMD. Acesta se bazează pe motorul de deducție grafic MIGraphX de la AMD, care accelerează deducerea modelului de învățare automată și permite optimizări specifice hardware-ului atunci când rulează modele ONNX pe hardware-ul GPU AMD.
Furnizor executare NVIDIA TensorRT-RTX
Furnizorul de executare NVIDIA TensorRT-RTX este un furnizor de executare ONNX Runtime/Windows ML (EP), proiectat special pentru a accelera deducerea modelului ONNX pe GPU-urile NVIDIA RTX pentru scenariile centrate pe client (PC-ul utilizatorului final). Acesta valorifică tensorRT NVIDIA pentru modulul runtime RTX pentru a genera și a rula motoare de deducție optimizate rtx pe GPU-ul local, permițând Windows și aplicațiilor să profite de accelerarea hardware RTX.
Furnizor executare Intel OpenVINO
Furnizorul de executare Intel OpenVINO este un furnizor de executare (EP) utilizat cu ONNX Runtime/Windows ML pentru a activa deducerea accelerată de hardware pe platformele Intel. Acesta accelerează modelele ONNX pe CPU-uri Intel, GPU-uri și NKU-uri, permițând Windows și aplicațiilor să profite de optimizările hardware Intel pentru volumele de lucru de învățare programată.
Furnizor executare QNN Qualcomm
Furnizorul de executare QNN Qualcomm este un furnizor de executare (EP) pentru ONNX Runtime (și scenariile Windows ML care utilizează ONNX Runtime) care permite executarea accelerată de hardware pe chipseturile Qualcomm. Utilizează Qualcomm AI Engine Direct SDK (QNN SDK) pentru a construi un grafic QNN dintr-un model ONNX, care este executat apoi de o bibliotecă backend de accelerare acceptată.
Furnizor executare AI AMD Vitis
Furnizorul de executare AI AMD Vitis este un furnizor de executare utilizat cu ONNX Runtime/Windows ML care permite deducerea AI accelerată de hardware pe platformele AMD. În formularea publicată de Microsoft, Vitis AI este stiva de dezvoltare AMD pentru deducerea AI accelerată de hardware și vizează platformele AMD, inclusiv Ryzen AI, AMD Adaptable SoCs și cardurile de accelerare Alveo Data Center.
