Artikelinnehåll
Vad är en körningsprovider?
AI-komponenter från körningsleverantören är Windows AI-komponenter som används på Copilot+-datorer för att möjliggöra maskinvaruaccelererad körning av maskininlärningsmodeller. Dessa komponenter fungerar som maskinvaruabstraktionslager mellan AI-modeller och underliggande beräkningsmotorer , till exempel CPU:er, GPU:er och NPU:er, så att Windows och program kan köra AI-arbetsbelastningar effektivt på bästa tillgängliga maskinvara.
En körningsleverantör är en modulkomponent som integreras med ONNX Runtime för att leverera maskinvaruspecifika optimeringar för AI-slutledning. Körningsproviders hanterar uppgifter som grafpartitionering, kernelval och operatorkörning, samtidigt som komplexiteten i leverantörsspecifika accelerationsbibliotek sammanfattas. Den här designen gör att en enda AI-modell kan köras över olika maskinvarukonfigurationer utan att kräva ändringar på programnivå.
På Copilot+-datorer har AI-komponenter från körningsleverantören stöd för flera maskinvaruplattformar och silicon-leverantörer. Exempel är körningsleverantörer som är optimerade för Intel-, AMD-, Qualcomm- och NVIDIA-maskinvara, som var och en gör det möjligt för AI-modeller att dra nytta av specialiserade acceleratorer som NPU:er eller GPU:er när de är tillgängliga. När maskinvaruacceleration inte stöds för en viss arbetsbelastning återgår körningen automatiskt till en kompatibel beräkningsbackend, vilket säkerställer tillförlitlighet och bred enhetskompatibilitet.
AI-komponenter från exekveringsleverantören är en grundläggande del av Windows AI-plattformen. De används av Windows-funktioner, Copilot+-upplevelser och utvecklarprogram som är beroende av lokala AI-slutsatser. Genom att dynamiskt välja och hantera körningsproviders kan Windows leverera prestanda med låg latens, förbättrad energieffektivitet och konsekvent AI-beteende i olika enhetskonfigurationer.
MIGraphX-körningsprovider
MIGraphX-körningsprovidern är en AMD-körningsprovider som används med ONNX Runtime/Windows machine-learning för att leverera maskinvaruaccelererad slutledning genom att avinstallera ONNX-modellåtgärder som stöds till AMD-GPU:er. Den är baserad på AMD:s MIGraphX-grafinferensmotor, som påskyndar slutledning av maskininlärningsmodell och möjliggör maskinvaruspecifika optimeringar när ONNX-modeller körs på AMD GPU-maskinvara.
NVIDIA TensorRT-RTX Execution Provider
NVIDIA TensorRT-RTX Execution Provider är en ONNX Runtime/Windows-leverantör för maskininlärningskörning som utformats specifikt för att påskynda ONNX-modellinferens på NVIDIA RTX-GPU:er för klientcentrerade scenarier (slutanvändardator). Det utnyttjar NVIDIA:s TensorRT för RTX-körning för att generera och köra RTX-optimerade slutledningsmotorer på den lokala GPU:n, vilket gör att Windows och appar kan dra nytta av RTX-maskinvaruacceleration.
Intel OpenVINO Execution Provider
Intel OpenVINO Execution Provider är en körningsprovider som används med ONNX Runtime/Windows machine-learning för att aktivera maskinvaruaccelererad slutledning på Intel-plattformar. Det accelererar ONNX-modeller på Intel-PROCESSORer, GPU:er och NPU:er, vilket gör att Windows och program kan dra nytta av Intels maskinvaruoptimeringar för maskininlärningsbelastningar.
Qualcomm QNN Execution Provider
Qualcomm QNN Execution Provider är en körningsleverantör för ONNX Runtime (och Windows-maskininlärningsscenarier som använder ONNX Runtime) som möjliggör maskinvaruaccelererad körning på Qualcomm-kretsuppsättningar. Den använder Qualcomm AI Engine Direct SDK (QNN SDK) för att konstruera ett QNN-diagram från en ONNX-modell, som sedan körs av ett accelerator backend-bibliotek som stöds.
AMD Vitis AI Execution Provider
AMD Vitis AI Execution Provider är en körningsleverantör som används med ONNX Runtime/Windows machine-learning som möjliggör maskinvaruaccelererad AI-slutledning på AMD-plattformar. Vitis AI är AMD:s utvecklingsstack för maskinvaruaccelererad AI-slutledning, och den riktar sig till AMD-plattformar som Ryzen AI, AMD Adaptable SoCs och Alveo Data Center Acceleration Cards.
