V tem članku
Kaj je ponudnik izvajanja?
Komponente AI ponudnika izvajanja so komponente AI sistema Windows, ki se uporabljajo v računalnikih Copilot+ za omogočanje strojnega pospešenega izvajanja modelov strojnega učenja. Te komponente delujejo kot abstrakcijo strojne opreme med modeli AI in temeljnimi računalniškimi motorji, kot so CPE-ji, gpe in NPU-ji, ki sistemu Windows in aplikacijam omogočajo učinkovito izvajanje delovnih obremenitev uporabniškega vmesnika na najboljši razpoložljivi strojni opremi.
Ponudnik izvajanja (EP) je modularna komponenta, ki je integrirana z izvajalnim orodjem ONNX za zagotavljanje optimizacij za določanje AI za strojno opremo. Ponudniki izvajanja izvajajo opravila, kot so delitev grafov, izbor jedra in izvajanje operatorja, hkrati pa izvlečejo zahtevnost knjižnic za pospeševanje, značilne za dobavitelja. Ta načrt omogoča, da se en model AI izvaja v različnih konfiguracijah strojne opreme, ne da bi bilo treba spreminjati na ravni aplikacije.
V računalnikih Copilot+ komponente AI ponudnika izvajanja podpirajo več platform strojne opreme in prodajalcev silicijevih procesorjev. Primeri vključujejo ponudnike izvajanja, ki so optimizirani za strojno opremo Intel, AMD, Qualcomm in NVIDIA, vsak, ki modelom AI omogoča, da izkoristijo prednosti posebnih pospeševalnikov, kot so NPU-ji ali gpU-ji, ko so na voljo. Če pospeševanje strojne opreme ni podprto za dano delovno obremenitev, se izvajanje samodejno povrne na združljivo računanje v ozadju, ki zagotavlja zanesljivost in združljivost široke naprave.
Komponente storitev za izvajanje AI so temeljni del platforme Windows AI. Uporabljajo jih funkcije sistema Windows, izkušnje z rešitvijo Copilot+ in razvijalski programi, ki temeljijo na lokalnem načinu uvajanja uporabniškega vmesnika. Z dinamično izbiro in upravljanjem ponudnikov izvajanja lahko sistem Windows v različnih konfiguracijah naprave zagotavlja učinkovitost delovanja z nizko zakasnitvijo, izboljšano učinkovitost porabe energije in dosledno delovanje uporabniškega vmesnika.
Ponudnik izvajanja MIGraphX
Ponudnik izvajanja MIGraphX je ponudnik izvajanja AMD (EP), ki se uporablja z ONNX Runtime/Windows machine-learning (ML) za zagotavljanje strojno pospešenega sprejemanja s preobremenitvijo podprtih postopkov modela ONNX v AMD GPU-je. Temelji na modelu AMD MIGraphX grafa, ki pospešuje določanje modela strojnega učenja in omogoča optimizacije, specifične za strojno opremo, ko se izvajajo modeli ONNX v strojni opremi AMD GPU.
Ponudnik izvajanja NVIDIA TensorRT-RTX
Ponudnik izvajalnika NVIDIA TensorRT-RTX je ponudnik izvajalnika ONNX/ponudnika izvajanja Windows ML (EP), zasnovan posebej za pospešitev določanje modela ONNX na grafičnih karticah NVIDIA RTX za scenarije, ki se izvajajo v odjemalcu (računalnik s sistemom za končnega uporabnika). Uporablja TensorRT družbe NVIDIA za izvajalnik RTX za ustvarjanje in izvajanje mehanizma za določanje, optimizirano za RTX, v lokalnem grafičnem ključu, ki sistemu Windows in aplikacijam omogoča, da izkoristijo prednosti pospeševanja strojne opreme RTX.
Intel OpenVINO Execution Provider
Intel OpenVINO Execution Provider je ponudnik izvajanja (EP), ki se uporablja z ONNX Runtime / Windows ML, da se omogoči strojno pospešeno določanje na platformah Intel. Z njim pospešite modele ONNX v procesorjih Intel, gpu in NPU-jih, kar sistemu Windows in aplikacijam omogoča, da izkoristijo prednosti optimizacij strojne opreme Intel za delovne obremenitve, ki se strojno učijo.
Qualcomm QNN Execution Provider
Ponudnik izvajalnika Qualcomm QNN je ponudnik izvajanja (EP) za izvajalnik ONNX (in scenarije Windows ML, ki uporabljajo izvajalnik ONNX), ki omogoča pospešeno izvajanje na naborih vezij Qualcomm. Uporablja qualcomm AI Engine Direct SDK (QNN SDK) za izdelavo grafa QNN iz modela ONNX, ki ga nato izvede podprta pospeševalnik backend knjižnica.
AMD Vitis AI Execution Provider
AMD Vitis AI Execution Provider je ponudnik izvajanja, ki se uporablja z ONNX Runtime / Windows ML, ki omogoča strojno pospešeno AI določanje na platformah AMD. V Microsoftovem objavljenem besedilu je Vitis AI razvojni sklad AMD za strojno pospešeno določanje AI in je namenjen platformam AMD, vključno s karticami za pospeševanje Ryzen AI, AMD prilagodljivimi socs in karticami za pospeševanje podatkovnega središča Alveo.
