Selle artikli teemad
Mis on käivituspakkuja?
Käivituspakkuja AI komponendid on Windowsi AI komponendid, mida kasutatakse Copilot+ arvutites, et lubada masinõppemudelite riistvara kiirendatud käivitamine. Need komponendid toimivad riistvara abstraktsioonkihina tehisintellektimudelite ja aluseks olevate arvutimootorite (nt protsessorite, GPU-de ja NPU-de) vahel, mis võimaldab Windowsil ja rakendustel tehisintellekti töökoormusi tõhusalt käitada parimal saadaoleval riistvaral.
Käivituspakkuja (EP) on moodulkomponent, mis integreeruvad ONNX Runtime'iga, et pakkuda tehtemärkide tuletamiseks riistvarakohaseid optimeerimisi. Täitmisteenuse pakkujad käitlevad toiminguid (nt graafiku sektsioonimine, tuuma valimine ja tehtemärkide täitmine) hankijakohaste kiirendusteekide keerukuse abstraktselt. See kujundus võimaldab ühel AI mudelil töötada mitmesugust riistvarakonfiguratsiooni ilma rakendusetaseme muudatusi nõudmata.
Copilot+ arvutites toetavad käivituspakkuja TEI komponendid mitut riistvaraplatvormi ja protsessoritarnijat. Näited on näiteks Inteli, AMD, Qualcommi ja NVIDIA riistvara jaoks optimeeritud käivituspakkujad, mis võimaldavad iga AI mudelitel kasutada erikiirendite (nt NPU-de või GPU-de) eeliseid, kui need on saadaval. Kui konkreetse töökoormuse puhul riistvaralist kiirendust ei toetata, läheb käivitamine automaatselt tagasi ühilduva arvuti tagaserverisse, tagades töökindluse ja seadme laia ühilduvuse.
Käivituspakkuja AI komponendid on Windowsi AI platvormi vundament. Neid kasutavad Windowsi funktsioonid, Copilot+ funktsioonid ja arendusrakendused, mis tuginevad kohalikule tehisintellektile. Käivituspakkujaid dünaamiliselt valides ja hallates võib Windows pakkuda madala latentsusega jõudlust, täiustatud energiatõhusust ja ühtset teostusvõime käitumist erinevates seadmekonfiguratsioonides.
MIGraphX-i käivituspakkuja
MIGraphX-i käivituspakkuja on AMD käivituspakkuja (EP), mida kasutatakse koos ONNX Runtime /Windowsi masinõppega (ML), et pakkuda riistvaralist kiirendatud tuletamist, laadides toetatud ONNX-mudeli toimingud AMD GPU-desse. See põhineb AMD MIGraphX-i graafiku tuletamismootoril, mis kiirendab masinõppemudeli tuletamist ja võimaldab riistvarakohaseid optimeerimisi ONNX-mudelite käitamisel AMD GPU riistvaras.
NVIDIA TensorRT-RTX-i käivitamise pakkuja
NVIDIA TensorRT-RTX Execution Provider on ONNX Runtime / Windows ML käivituspakkuja (EP), mis on loodud spetsiaalselt selleks, et kiirendada NVIDIA RTX GPU-de tuletamist kliendikeskste (lõppkasutaja arvuti) stsenaariumide korral. See kasutab NVIDIA TensorRT-d RTX-käitusaja jaoks RTX-i optimeeritud tuletamismootorite genereerimiseks ja käitamiseks kohalikus GPU-s, võimaldades Windowsil ja rakendustel rtX-i riistvarakiirenduse eeliseid ära kasutada.
Intel OpenVINO käivituspakkuja
Intel OpenVINO käivituspakkuja on täitmispakkuja (EP), mida kasutatakse koos ONNX Runtime /Windows ML-iga, et lubada inteli platvormidel riistvaraline kiirendatud tuletamine. See kiirendab Inteli protsessorite, GPU-de ja NPU-de ONNX-mudeleid, võimaldades Windowsil ja rakendustel kasutada Inteli riistvara optimeerimist masinõppe töökoormuste jaoks.
Qualcomm QNN-i käivitamise pakkuja
Qualcomm QNN-i käivituspakkuja on ONNX Runtime'i (ja Windows ML-i stsenaariumide, mis kasutavad ONNX Runtime'i) käivituspakkuja (EP), mis lubab Qualcommi kiibistikel riistvaralise kiirendatud käivitamise. See kasutab Qualcomm AI mootori otsest SDK-d (QNN SDK), et koostada QNN-i graafik ONNX-mudelist, mille käivitab seejärel toetatud kiirendi tagateek.
AMD Vitis AI täitmispakkuja
AMD Vitis AI täitmise pakkuja on käivituspakkuja, mida kasutatakse KOOS ONNX Runtime / Windows ML-iga, mis võimaldab riistvaralise kiirendatud tehisintellekti tuletamist AMD platvormidel. Microsofti avaldatud sõnastuses on Vitis AI AMD arendusvirn riistvara kiirendatud tehisintellekti tuletamiseks ja see on suunatud AMD platvormidele, sh Ryzen AI, AMD Adaptable SoCs ja Alveo Data Center Acceleration Cards.
