Tēmas šajā rakstā
Kas ir izpildes nodrošinātājs?
Izpildes nodrošinātāja AI komponenti ir Windows AI komponenti, kas tiek izmantoti Copilot+ datoros, lai iespējotu aparatūras paātrināšanas mašīnmācīšanas modeļu izpildi. Šie komponenti darbojas kā aparatūras abstraktās slāņa starp AI modeļiem un pamatā esošajām skaitļošanas programmām, piemēram, CPUs, GPUs un NPUs, — ļaujot Windows un lietojumprogrammām darbināt AI darba slodzes efektīvi vislabāk pieejamajā aparatūrā.
Izpildes nodrošinātājs (EP) ir modulārs komponents, kas tiek integrēts ONNX Runtime, lai nodrošinātu aparatūras optimizācijas AI izsekošanu. Izpildes pakalpojumu sniedzēji apstrādā tādus uzdevumus kā graph partitioning, kernel selection un operator execution, vienlaikus abstraktojot piegādātājam raksturīgo paātrināšanas bibliotēku sarežģītību. Šis noformējums ļauj atsevišķam AI modelim darboties dažādu aparatūras konfigurāciju gadījumā, un nav nepieciešamas lietojumprogrammas līmeņa izmaiņas.
Copilot+ datoros izpildes nodrošinātāja AI komponenti atbalsta vairākas aparatūras platformas un silicon piegādātājus. Piemēram, izpildes nodrošinātāji, kas optimizēti Intel, AMD, Qualcomm un NVIDIA aparatūrai, katrs ļauj AI modeļiem izmantot priekšrocības, ko sniedz specializēti paātrinātāji, piemēram, NPUs vai GPU, ja tādi ir pieejami. Ja dotajā darba slodzei netiek atbalstīta aparatūras paātrināšana, izpilde automātiski tiek nodota atpakaļ saderīgam skaitļošanas aizmugurējam, nodrošinot uzticamību un plašu ierīces saderību.
Izpildes nodrošinātāja AI komponenti ir Windows AI platformas pamatdaļa. Tās izmanto Windows līdzekļi, Copilot+ iespējas un izstrādātāju lietojumprogrammas, kas ir atkarīgas no vietējo inferences. Dinamiski atlasot un pārvaldot izpildes nodrošinātājus, Windows var nodrošināt zema latentuma veiktspēju, uzlabotu strāvas efektivitāti un konsekventu AI darbību dažādās ierīču konfigurācijās.
MIGraphX izpildes nodrošinātājs
MIGraphX izpildes nodrošinātājs ir AMD izpildes nodrošinātājs (EP), kas tiek izmantots ar ONNX Runtime /Windows mašīnmācību (ML), lai nodrošinātu aparatūras paātrināto izspiešanu, ko atbalsta ONNX modeļa darbības AMD GPU. Tās pamatā ir AMD MIGraphX diagrammas izsekošanas programma, kas paātrina mašīnmācīšanas modeļa izcelšanu un iespējo aparatūrai specifisku optimizāciju, palaižot ONNX modeļus AMD GPU aparatūrā.
NVIDIA TensorRT-RTX izpildes nodrošinātājs
NVIDIA TensorRT-RTX izpildes nodrošinātājs ir ONNX Runtime/Windows ML izpildes nodrošinātājs (EP), kas īpaši paredzēts, lai paātrināt ONNX modeļa izsekošanu NVIDIA RTX GPUs klienta centrālos (lietotāja PC) scenārijos. Tā izmanto NVIDIA tensorRT RTX izpildlaika modulim, lai ģenerētu un palaistu RTX optimizētas inferences programmas lokālajā GPU, ļaujot Windows un programmām izmantot RTX aparatūras paātrināšanas priekšrocības.
Intel Open® izpildes nodrošinātājs
Intel Open RUNTIME izpildes nodrošinātājs ir izpildes nodrošinātājs (EP), kas tiek izmantots ar ONNX Runtime /Windows ML, lai iespējotu aparatūras paātrināšanas izsešanu Intel platformās. Tas paātrina ONNX modeļus Intel CPUs, GPU un NPU, ļaujot Windows un lietojumprogrammām izmantot Intel aparatūras optimizācijas mašīnmācīšanas darba slodzēm.
Qualcomm QNN izpildes nodrošinātājs
Qualcomm QNN izpildes nodrošinātājs ir IZPILDES nodrošinātājs (EP) ONNX izpildlaika modulim (un Windows ML scenārijiem, kas izmanto ONNX izpildlaika moduli), kas iespējo aparatūras paātrināšanas izpildi Qualcomm mikroshēmās. Tas izmanto Qualcomm AI Engine Direct SDK (QNN SDK), lai izveidotu QNN grafiku no ONNX modeļa, ko pēc tam izpilda atbalstīta paātrinātāja aizmugursistēmu bibliotēka.
AMD V kā izpildes nodrošinātājs
AMD Vīra AI izpildes nodrošinātājs ir izpildes nodrošinātājs, kas tiek izmantots ar ONNX Runtime/Windows ML un iespējo aparatūras paātrināšanas AI izsekošanu AMD platformās. Microsoft publicētajā apvārdā Vrils AI ir AMD izstrādes grēda, kurā aparatūrā tiek paātrināta AI izcelšana, un tas darbojas pret AMD platformām, tostarp Ryzen AI, AMD pielāgojamām sokiem un Alveo datu centra paātrināšanas kartītēm.
