Šiame straipsnyje:
Kas yra vykdymo teikėjas?
Vykdymo teikėjo DI komponentai yra "Windows" DI komponentai, naudojami "Copilot+" kompiuteriuose, kad įgalintų paspartintą mašininio mokymosi modelių vykdymą. Šie komponentai veikia kaip aparatūros abstrakcijos sluoksnis tarp DI modelių ir pagrindinių skaičiavimo modulių, pvz., CPU, GPU ir NPI, kad "Windows" ir programos galėtų efektyviai vykdyti DI darbo krūvius naudojant geriausią pasiekiamą aparatūrą.
Vykdymo teikėjas (EP) yra modulinis komponentas, integruojantis su ONNX vykdykle, kad būtų galima teikti konkrečios aparatūros DI išvadų optimizavimą. Vykdymo teikėjai apdoroja užduotis, pvz., grafiko skaidymo, branduolio pasirinkimo ir operatoriaus vykdymo, abstrakcionuodami konkrečių tiekėjo spartinimo bibliotekų sudėtingumą. Šis dizainas suteikia galimybę naudoti vieną DI modelį įvairioms aparatūros konfigūracijoms be programos lygio pakeitimų.
"Copilot+" kompiuteriuose vykdymo teikėjo DI komponentai palaiko kelias aparatūros platformas ir silicio tiekėjus. Pavyzdžiai apima vykdymo teikėjus, optimizuotus "Intel", AMD, "Qualcomm" ir NVIDIA aparatūrai, kurie leidžia DI modeliams pasinaudoti specializuotais spartintuvais, pvz., NPI arba GPU, kai jie galimi. Kai tam tikras darbo krūvis nepalaikomas aparatūros spartinimas, vykdymas automatiškai grįžta į suderinamą skaičiavimo galinę dalį, užtikrindamas patikimumą ir platų įrenginio suderinamumą.
Vykdymo teikėjo DI komponentai yra pamatinė "Windows" DI platformos dalis. Jas naudoja "Windows" funkcijos, "Copilot+" funkcijos ir kūrėjų programos, kurios remiasi vietinio DI reikšme. Dinamiškai pasirinkus ir valdant vykdymo teikėjus, "Windows" gali užtikrinti mažą gaišties našumą, didesnį energijos vartojimo efektyvumą ir nuoseklų DI veikimą skirtingose įrenginių konfigūracijose.
MIGraphX vykdymo teikėjas
"MIGraphX" vykdymo teikėjas yra AMD vykdymo teikėjas (EP), naudojamas su ONNX vykdykle / "Windows" mašininio mokymosi (ML), kad pateiktų pagreitintą aparatūrą, iškeldamas palaikomas ONNX modelio operacijas AMD GPU. Jis pagrįstas AMD "MIGraphX" grafiko paieškos moduliu, kuris pagreitina mašininio mokymosi modelio išvadą ir įgalina konkrečios aparatūros optimizavimą, kai AMD GPU aparatūroje veikia ONNX modeliai.
NVIDIA TensorRT-RTX vykdymo teikėjas
"NVIDIA TensorRT-RTX" vykdymo teikėjas yra ONNX vykdymo / "Windows" ML vykdymo teikėjas (EP), skirtas specialiai ONNX modelio spartinti "NVIDIA RTX" GPU kliento (galutinio vartotojo PC) scenarijams. Ji naudoja NVIDIA "TensorRT" RTX vykdyklei, kad būtų generuojami ir paleidžiami RTX optimizuoti išvadų moduliai vietiniame GPU, kad "Windows" ir programėlės galėtų pasinaudoti RTX aparatūros spartinimu.
"Intel OpenVINO" vykdymo teikėjas
"Intel OpenVINO" vykdymo teikėjas yra vykdymo teikėjas (EP), naudojamas su ONNX Runtime / Windows ML, kad įgalintų pagreitintą aparatūrą "Intel" platformose. Jis pagreitina ONNX modelius "Intel" CPU, GPU ir NPI, kad "Windows" ir programos galėtų pasinaudoti "Intel" aparatūros optimizavimu mašininio mokymo darbo krūviams.
"Qualcomm QNN" vykdymo teikėjas
"Qualcomm QNN" vykdymo teikėjas yra ONNX vykdymo (ir "Windows" ML scenarijų, naudojančių ONNX vykdyklę) vykdymo teikėjas (EP), kuris įgalina pagreitintą aparatūros vykdymą "Qualcomm" lustų rinkiniuose. Ji naudoja "Qualcomm AI Engine Direct" SDK (QNN SDK) QNN diagramai kurti iš ONNX modelio, kurį vykdo palaikoma greitintuvo vidinė biblioteka.
AMD Vitis AI vykdymo teikėjas
AMD Vitis AI vykdymo teikėjas yra vykdymo teikėjas, naudojamas su ONNX Runtime / Windows ML, kuris įgalina aparatūros paspartinto DI išvadą AMD platformose. "Microsoft" publikuotose formuluotėse Vitis AI yra AMD kūrimo rietuvė, skirta aparatūros paspartinto DI išvadoms, ir skirta AMD platformoms, įskaitant "Ryzen AI", "AMD Adaptable SoCs" ir "Alveo Data Center Acceleration Cards".
