Artikelinnehåll
Vad är en körningsprovider?
AI-komponenter från körningsleverantören är Windows AI-komponenter som används på Copilot+-datorer för att möjliggöra maskinvaruaccelererad körning av maskininlärningsmodeller. Dessa komponenter fungerar som maskinvaruabstraktionslager mellan AI-modeller och underliggande beräkningsmotorer , till exempel CPU:er, GPU:er och NPU:er, så att Windows och program kan köra AI-arbetsbelastningar effektivt på bästa tillgängliga maskinvara.
En körningsleverantör (EP) är en modulär komponent som integreras med ONNX Runtime för att leverera maskinvaruspecifika optimeringar för AI-slutledning. Körningsproviders hanterar uppgifter som grafpartitionering, kernelval och operatorkörning, samtidigt som komplexiteten i leverantörsspecifika accelerationsbibliotek sammanfattas. Den här designen gör att en enda AI-modell kan köras över olika maskinvarukonfigurationer utan att kräva ändringar på programnivå.
På Copilot+-datorer har AI-komponenter från körningsleverantören stöd för flera maskinvaruplattformar och silicon-leverantörer. Exempel är körningsleverantörer som är optimerade för Intel-, AMD-, Qualcomm- och NVIDIA-maskinvara, som var och en gör det möjligt för AI-modeller att dra nytta av specialiserade acceleratorer som NPU:er eller GPU:er när de är tillgängliga. När maskinvaruacceleration inte stöds för en viss arbetsbelastning återgår körningen automatiskt till en kompatibel beräkningsbackend, vilket säkerställer tillförlitlighet och bred enhetskompatibilitet.
AI-komponenter från exekveringsleverantören är en grundläggande del av Windows AI-plattformen. De används av Windows-funktioner, Copilot+-upplevelser och utvecklarprogram som är beroende av lokala AI-slutsatser. Genom att dynamiskt välja och hantera körningsproviders kan Windows leverera prestanda med låg latens, förbättrad energieffektivitet och konsekvent AI-beteende i olika enhetskonfigurationer.
MIGraphX-körningsprovider
MIGraphX-körningsprovidern är en AMD-körningsprovider (EP) som används med ONNX Runtime/Windows machine-learning (ML) för att leverera maskinvaruaccelererad slutledning genom att avinstallera ONNX-modellåtgärder som stöds till AMD-GPU:er. Den är baserad på AMD:s MIGraphX-grafinferensmotor, som påskyndar slutledning av maskininlärningsmodell och möjliggör maskinvaruspecifika optimeringar när ONNX-modeller körs på AMD GPU-maskinvara.
NVIDIA TensorRT-RTX Execution Provider
NVIDIA TensorRT-RTX Execution Provider är en ONNX Runtime/Windows ML-körningsprovider (EP) som utformats specifikt för att påskynda ONNX-modellslutförande på NVIDIA RTX-GPU:er för klientcentrerade scenarier (slutanvändarens dator). Det utnyttjar NVIDIA:s TensorRT för RTX-körning för att generera och köra RTX-optimerade slutledningsmotorer på den lokala GPU:n, vilket gör att Windows och appar kan dra nytta av RTX-maskinvaruacceleration.
Intel OpenVINO Execution Provider
Intel OpenVINO Execution Provider är en körningsprovider (EP) som används med ONNX Runtime/Windows ML för att aktivera maskinvaruaccelererad slutledning på Intel-plattformar. Det accelererar ONNX-modeller på Intel-PROCESSORer, GPU:er och NPU:er, vilket gör att Windows och program kan dra nytta av Intels maskinvaruoptimeringar för maskininlärningsbelastningar.
Qualcomm QNN Execution Provider
Qualcomm QNN Execution Provider är en körningsleverantör (EP) för ONNX Runtime (och Windows ML-scenarier som använder ONNX Runtime) som möjliggör maskinvaruaccelererad körning på Qualcomm-kretsuppsättningar. Den använder Qualcomm AI Engine Direct SDK (QNN SDK) för att konstruera ett QNN-diagram från en ONNX-modell, som sedan körs av ett accelerator backend-bibliotek som stöds.
AMD Vitis AI Execution Provider
AMD Vitis AI Execution Provider är en körningsleverantör som används med ONNX Runtime/Windows ML som möjliggör maskinvaruaccelererad AI-slutledning på AMD-plattformar. I Microsofts publicerade formulering är Vitis AI AMD:s utvecklingsstack för maskinvaruaccelererad AI-slutledning, och den riktar sig till AMD-plattformar som Ryzen AI, AMD Adaptable SoCs och Alveo Data Center Acceleration Cards.
