Denne artikel indeholder
Hvad er en eksekveringsudbyder?
Execution Provider AI-komponenter er Windows AI-komponenter, der bruges på Copilot+ pc'er til at aktivere hardwareaccelet udførelse af maskinlæringsmodeller. Disse komponenter fungerer som hardwareindvindingslaget mellem AI-modeller og de underliggende computerprogrammer – f.eks. CPU'er, GPU'er og NPUs – så Windows og programmer kan køre AI-arbejdsbelastninger effektivt på den bedste tilgængelige hardware.
En eksekveringsudbyder er en modulopbygget komponent, der integreres med ONNX Runtime for at levere hardwarespecifikke optimeringer til ai-inferens. Eksekveringsudbydere håndterer opgaver som f.eks. grafpartitionering, kernevalg og operatorudførelse, mens kompleksiteten af leverandørspecifikke accelerationsbiblioteker abstrakteres. Dette design gør det muligt for en enkelt AI-model at køre på tværs af forskellige hardwarekonfigurationer uden at kræve ændringer på programniveau.
På Copilot+-pc'er understøtter eksekveringsudbyderens AI-komponenter flere hardwareplatforme og processorleverandører. Eksempler omfatter eksekveringsudbydere, der er optimeret til Intel-, AMD-, Qualcomm- og NVIDIA-hardware, der hver især aktiverer AI-modeller til at udnytte specialiserede acceleratorer som NPUs eller GPU'er, når de er tilgængelige. Når hardwareacceleration ikke understøttes for en given arbejdsmængde, går udførelse automatisk tilbage til en kompatibel computer-backend, så pålideligheden og den brede enhedskompatibilitet sikres.
Execution Provider AI-komponenter er en grundlæggende del af Windows AI-platformen. De bruges af Windows-funktioner, Copilot+-oplevelser og udviklerprogrammer, der er afhængige af lokal AI-afledning. Ved dynamisk at vælge og administrere eksekveringsudbydere kan Windows levere ydeevne med lav latenstid, forbedret strømeffektivitet og ensartet ai-funktionsmåde på tværs af forskellige enhedskonfigurationer.
MIGraphX-eksekveringsudbyder
MIGraphX-eksekveringsprovideren er en AMD-eksekveringsprovider, der bruges sammen med ONNX Runtime/Windows machine-learning til at levere hardwareaccelet inferens ved at aflaste understøttede ONNX-modelhandlinger til AMD GPU'er. Den er baseret på AMD's MIGraphX graph-afledningsmotor, som accelererer maskinlæringsmodellens afledning og aktiverer hardwarespecifikke optimeringer, når du kører ONNX-modeller på AMD GPU-hardware.
NVIDIA TensorRT-RTX Execution Provider
NVIDIA TensorRT-RTX Execution Provider er en ONNX-kørsels-/Windows-maskinlæringsudførelsesudbyder, der er udviklet specifikt til at accelerere ONNX-modelafledning på NVIDIA RTX-GPU'er til klientcentriske scenarier (slutbruger-pc). Det udnytter NVIDIA's TensorRT til RTX-runtime til at generere og køre RTX-optimerede afledningsmotorer på den lokale GPU, så Windows og apps kan drage fordel af RTX-hardwareacceleration.
Intel OpenVINO Execution Provider
Intel OpenVINO Execution Provider er en eksekveringsudbyder, der bruges sammen med ONNX Runtime/Windows machine-learning for at aktivere hardwareaccelereret inferens på Intel-platforme. Det accelererer ONNX-modeller på Intel-CPU'er, GPU'er og NPUs, så Windows og programmer kan drage fordel af Intel-hardwareoptimeringer til arbejdsbelastninger ved maskinel indlæring.
Qualcomm QNN Execution Provider
Qualcomm QNN Execution Provider er en eksekveringsudbyder til ONNX Runtime (og Windows machine-learning-scenarier, der bruger ONNX Runtime), der aktiverer hardwareacceletkørsel på Qualcomm-chipsæt. Den bruger Qualcomm AI Engine Direct SDK (QNN SDK) til at konstruere en QNN-graf fra en ONNX-model, som derefter udføres af et understøttet accelerator-backendbibliotek.
AMD Vitis AI Execution Provider
AMD Vitis AI Execution Provider er en eksekveringsudbyder, der bruges sammen med ONNX Runtime/Windows machine-learning, der muliggør hardwareaccelereret AI-afledning på AMD-platforme. Vitis AI er AMD's udviklingsstak til hardwareaccelereret AI-afledning, og den er målrettet AMD-platforme, herunder Ryzen AI, AMD Adaptable SoCs og Alveo Data Center Acceleration Cards.
