Tartalom
Mi az a végrehajtási szolgáltató?
A végrehajtási szolgáltató AI-összetevői a Copilot+ rendszerű számítógépeken használt Windows AI-összetevők, amelyek lehetővé teszik a gépi tanulási modellek hardveresen gyorsított végrehajtását. Ezek az összetevők az AI-modellek és a mögöttes számítási motorok ( például CPU-k, GPU-k és NPU-k) közötti hardver absztrakciós rétegként működnek, így a Windows és az alkalmazások hatékonyan futtathatnak AI-számítási feladatokat a rendelkezésre álló legjobb hardveren.
A végrehajtási szolgáltató egy moduláris összetevő, amely integrálható az ONNX-futtatókörnyezettel, hogy hardverspecifikus optimalizálást biztosítson az AI-következtetéshez. A végrehajtási szolgáltatók olyan feladatokat kezelnek, mint a gráfparticionálás, a kernelkiválasztás és az operátor-végrehajtás, miközben absztrahálja a szállítóspecifikus gyorsítási kódtárak összetettségét. Ezzel a kialakítással egyetlen AI-modell futtatható különböző hardverkonfigurációkon anélkül, hogy alkalmazásszintű módosításokat kellene végrehajtania.
A Copilot+ rendszerű számítógépeken a végrehajtási szolgáltató AI-összetevői több hardverplatformot és szilíciumgyártót is támogatnak. Ilyenek például az Intelre, AMD-re, Qualcommra és NVIDIA-hardverre optimalizált végrehajtási szolgáltatók, amelyek mindegyike lehetővé teszi, hogy az AI-modellek kihasználhassák az olyan speciális gyorsítók előnyeit, mint az NPU-k vagy GPU-k, ha elérhetők. Ha egy adott számítási feladat esetében a hardveres gyorsítás nem támogatott, a végrehajtás automatikusan visszaesik egy kompatibilis számítási háttérrendszerre, biztosítva a megbízhatóságot és a széles körű eszközkompatibilitást.
A Végrehajtási szolgáltató AI-összetevői a Windows AI platform alapvető részét képezik. Ezeket a Windows-funkciók, a Copilot+ -élmények és a helyi AI-következtetésre támaszkodó fejlesztői alkalmazások használják. A végrehajtási szolgáltatók dinamikus kiválasztásával és kezelésével a Windows alacsony késésű teljesítményt, jobb energiahatékonyságot és konzisztens AI-viselkedést biztosít a különböző eszközkonfigurációkban.
MIGraphX végrehajtási szolgáltató
A MIGraphX végrehajtási szolgáltató egy AMD végrehajtási szolgáltató, amelyet az ONNX futtatókörnyezettel/Windows gépi tanulással használnak a hardveres gyorsításhoz a támogatott ONNX-modellműveletek AMD GPU-kra való kiszervezésével. Az AMD MIGraphX gráfkövetkeztetési motorján alapul, amely felgyorsítja a gépi tanulási modellek következtetését, és lehetővé teszi a hardverspecifikus optimalizálásokat, amikor ONNX-modelleket futtat AMD GPU-hardveren.
NVIDIA TensorRT-RTX végrehajtási szolgáltató
Az NVIDIA TensorRT-RTX végrehajtási szolgáltató egy ONNX futtatókörnyezeti/Windows gépi tanulási végrehajtási szolgáltató, amely kifejezetten az ONNX-modellkövetkeztetés felgyorsítására lett tervezve az NVIDIA RTX GPU-kon az ügyfélközpontú (végfelhasználói PC-k) forgatókönyvekhez. Az NVIDIA TensorRT for RTX-futtatókörnyezetével RTX-optimalizált következtetési motorokat hoz létre és futtat a helyi GPU-n, így a Windows és az alkalmazások kihasználhatják az RTX hardveres gyorsítás előnyeit.
Intel OpenVINO végrehajtási szolgáltató
Az Intel OpenVINO végrehajtási szolgáltató egy végrehajtási szolgáltató, amelyet az ONNX futtatókörnyezettel/Windows gépi tanulással használnak a hardveres gyorsítás engedélyezéséhez az Intel-platformokon. Felgyorsítja az ONNX-modelleket intel cpu-k, GPU-k és NPU-k esetében, így a Windows és az alkalmazások kihasználhatják az Intel hardveroptimalizálásait a gépi tanulási számítási feladatokhoz.
Qualcomm QNN-végrehajtási szolgáltató
A Qualcomm QNN végrehajtási szolgáltató az ONNX-futtatókörnyezet (és az ONNX-futtatókörnyezetet használó Windows rendszerű gépi tanulási forgatókönyvek) végrehajtási szolgáltatója, amely lehetővé teszi a hardveresen gyorsított végrehajtást a Qualcomm lapkakészleteken. A Qualcomm AI Engine Direct SDK (QNN SDK) használatával hoz létre egy QNN-gráfot egy ONNX-modellből, amelyet aztán egy támogatott gyorsító háttértár hajt végre.
AMD Vitis AI-végrehajtási szolgáltató
Az AMD Vitis AI-végrehajtó szolgáltató az ONNX futtatókörnyezettel/Windows gépi tanulással használt végrehajtási szolgáltató, amely lehetővé teszi a hardveresen gyorsított AI-következtetést az AMD-platformokon. A Vitis AI az AMD fejlesztési verme a hardveresen gyorsított AI-következtetéshez, és olyan AMD-platformokat céloz meg, mint a Ryzen AI, az AMD Adaptable SoCs és az Alveo Data Center Acceleration Cards.
