Denne artikel indeholder
Hvad er en eksekveringsudbyder?
Execution Provider AI-komponenter er Windows AI-komponenter, der bruges på Copilot+ pc'er til at aktivere hardwareaccelet udførelse af maskinlæringsmodeller. Disse komponenter fungerer som hardwareindvindingslaget mellem AI-modeller og de underliggende computerprogrammer – f.eks. CPU'er, GPU'er og NPUs – så Windows og programmer kan køre AI-arbejdsbelastninger effektivt på den bedste tilgængelige hardware.
En eksekveringsudbyder (EP) er en modulkomponent, der integreres med ONNX Runtime for at levere hardwarespecifikke optimeringer til AI-afledning. Eksekveringsudbydere håndterer opgaver som f.eks. grafpartitionering, kernevalg og operatorudførelse, mens kompleksiteten af leverandørspecifikke accelerationsbiblioteker abstrakteres. Dette design gør det muligt for en enkelt AI-model at køre på tværs af forskellige hardwarekonfigurationer uden at kræve ændringer på programniveau.
På Copilot+-pc'er understøtter eksekveringsudbyderens AI-komponenter flere hardwareplatforme og processorleverandører. Eksempler omfatter eksekveringsudbydere, der er optimeret til Intel-, AMD-, Qualcomm- og NVIDIA-hardware, der hver især aktiverer AI-modeller til at udnytte specialiserede acceleratorer som NPUs eller GPU'er, når de er tilgængelige. Når hardwareacceleration ikke understøttes for en given arbejdsmængde, går udførelse automatisk tilbage til en kompatibel computer-backend, så pålideligheden og den brede enhedskompatibilitet sikres.
Execution Provider AI-komponenter er en grundlæggende del af Windows AI-platformen. De bruges af Windows-funktioner, Copilot+-oplevelser og udviklerprogrammer, der er afhængige af lokal AI-afledning. Ved dynamisk at vælge og administrere eksekveringsudbydere kan Windows levere ydeevne med lav latenstid, forbedret strømeffektivitet og ensartet ai-funktionsmåde på tværs af forskellige enhedskonfigurationer.
MIGraphX-eksekveringsudbyder
MIGraphX-eksekveringsudbyderen er en AMD-eksekveringsudbyder (EP), der bruges sammen med ONNX Runtime/Windows MACHINE-learning (ML) til at levere hardwareaccelede inferens ved at aflaste understøttede ONNX-modelhandlinger til AMD-GPU'er. Den er baseret på AMD's MIGraphX graph-afledningsmotor, som accelererer maskinlæringsmodellens afledning og aktiverer hardwarespecifikke optimeringer, når du kører ONNX-modeller på AMD GPU-hardware.
NVIDIA TensorRT-RTX Execution Provider
NVIDIA TensorRT-RTX Execution Provider er en ONNX-kørsels-/Windows ML-eksekveringsprovider (EP), der er udviklet specifikt til at accelerere ONNX-modelafledning på NVIDIA RTX-GPU'er til klientcentriske scenarier (slutbruger-pc). Det udnytter NVIDIA's TensorRT til RTX-runtime til at generere og køre RTX-optimerede afledningsmotorer på den lokale GPU, så Windows og apps kan drage fordel af RTX-hardwareacceleration.
Intel OpenVINO Execution Provider
Intel OpenVINO Execution Provider er en eksekveringsprovider (EP), der bruges sammen med ONNX Runtime/Windows ML for at aktivere hardwareaccelereret inferens på Intel-platforme. Det accelererer ONNX-modeller på Intel-CPU'er, GPU'er og NPUs, så Windows og programmer kan drage fordel af Intel-hardwareoptimeringer til arbejdsbelastninger ved maskinel indlæring.
Qualcomm QNN Execution Provider
Qualcomm QNN Execution Provider er en eksekveringsudbyder (EP) til ONNX Runtime (og Windows ML-scenarier, der bruger ONNX Runtime), der aktiverer hardwareacceletkørsel på Qualcomm-chipsæt. Den bruger Qualcomm AI Engine Direct SDK (QNN SDK) til at konstruere en QNN-graf fra en ONNX-model, som derefter udføres af et understøttet accelerator-backendbibliotek.
AMD Vitis AI Execution Provider
AMD Vitis AI Execution Provider er en eksekveringsudbyder, der bruges sammen med ONNX Runtime/Windows ML, der aktiverer hardwareaccelereret AI-afledning på AMD-platforme. I Microsofts offentliggjorte ordlyd er Vitis AI AMD's udviklingsstak til hardwareaccelereret AI-afledning, og den er målrettet AMD-platforme, herunder Ryzen AI, AMD Adaptable SoCs og Alveo Data Center Acceleration Cards.
