In dit artikel
Wat is een uitvoeringsprovider?
AI-onderdelen van execution provider zijn Windows AI-onderdelen die worden gebruikt op Copilot+-pc's om hardware-versnelde uitvoering van machine learning-modellen mogelijk te maken. Deze onderdelen fungeren als de hardwareabstractielaag tussen AI-modellen en de onderliggende rekenengines, zoals CPU's, GPU's en NPU's, zodat Windows en toepassingen AI-workloads efficiënt kunnen uitvoeren op de best beschikbare hardware.
Een uitvoeringsprovider is een modulair onderdeel dat kan worden geïntegreerd met de ONNX Runtime om hardwarespecifieke optimalisaties voor AI-deductie te leveren. Uitvoeringsproviders verwerken taken zoals grafiekpartitionering, kernelselectie en operatoruitvoering, terwijl de complexiteit van leverancierspecifieke versnellingsbibliotheken wordt abstract gemaakt. Met dit ontwerp kan één AI-model worden uitgevoerd in verschillende hardwareconfiguraties zonder dat wijzigingen op toepassingsniveau nodig zijn.
Op Copilot+-pc's ondersteunen AI-onderdelen van de uitvoeringsprovider meerdere hardwareplatforms en siliciumleveranciers. Voorbeelden zijn uitvoerproviders die zijn geoptimaliseerd voor Intel-, AMD-, Qualcomm- en NVIDIA-hardware, die AI-modellen in staat stellen te profiteren van gespecialiseerde accelerators, zoals NPU's of GPU's, indien beschikbaar. Wanneer hardwareversnelling niet wordt ondersteund voor een bepaalde workload, valt de uitvoering automatisch terug naar een compatibele compute-back-end, wat zorgt voor betrouwbaarheid en brede apparaatcompatibiliteit.
AI-onderdelen van execution provider vormen een fundamenteel onderdeel van het Windows AI-platform. Ze worden gebruikt door Windows-functies, Copilot+-ervaringen en ontwikkelaarstoepassingen die afhankelijk zijn van lokale AI-deductie. Door uitvoeringsproviders dynamisch te selecteren en te beheren, kan Windows prestaties met lage latentie, verbeterde energie-efficiëntie en consistent AI-gedrag leveren voor verschillende apparaatconfiguraties.
MIGraphX-uitvoeringsprovider
De MIGraphX-uitvoeringsprovider is een AMD-uitvoeringsprovider die wordt gebruikt met ONNX Runtime/Windows machine learning om hardware-versnelde deductie te leveren door ondersteunde ONNX-modelbewerkingen te offloaden naar AMD GPU's. Het is gebaseerd op AMD's MIGraphX graph inference engine, die machine learning model deductie versnelt en hardwarespecifieke optimalisaties mogelijk maakt bij het uitvoeren van ONNX-modellen op AMD GPU-hardware.
NVIDIA TensorRT-RTX-uitvoeringsprovider
De NVIDIA TensorRT-RTX Execution Provider is een ONNX Runtime/Windows machine learning-uitvoeringsprovider die specifiek is ontworpen om de deductie van ONNX-modellen op NVIDIA RTX-GPU's te versnellen voor clientgerichte scenario's (pc's voor eindgebruikers). Het maakt gebruik van NVIDIA's TensorRT voor RTX-runtime om rtx-geoptimaliseerde deductie-engines te genereren en uit te voeren op de lokale GPU, zodat Windows en apps kunnen profiteren van RTX-hardwareversnelling.
Intel OpenVINO-uitvoeringsprovider
De Intel OpenVINO Execution Provider is een uitvoeringsprovider die wordt gebruikt met ONNX Runtime/Windows machine learning om hardwareversnelde deductie op Intel-platforms mogelijk te maken. Het versnelt ONNX-modellen op Intel-CPU's, GPU's en NPU's, waardoor Windows en toepassingen kunnen profiteren van Intel-hardwareoptimalisaties voor machine learning-workloads.
Qualcomm QNN-uitvoeringsprovider
De Qualcomm QNN Execution Provider is een uitvoeringsprovider voor ONNX Runtime (en Windows machine learning-scenario's die gebruikmaken van ONNX Runtime) die hardware-versnelde uitvoering op Qualcomm-chipsets mogelijk maakt. Het maakt gebruik van de Qualcomm AI Engine Direct SDK (QNN SDK) om een QNN-grafiek te maken op basis van een ONNX-model, dat vervolgens wordt uitgevoerd door een ondersteunde back-endbibliotheek voor accelerators.
AMD Vitis AI Execution Provider
De AMD Vitis AI Execution Provider is een uitvoeringsprovider die wordt gebruikt met ONNX Runtime/Windows machine learning die hardware-versnelde AI-deductie op AMD-platforms mogelijk maakt. Vitis AI is de ontwikkelstack van AMD voor hardware-versnelde AI-deductie en is gericht op AMD-platforms, waaronder Ryzen AI, aanpasbare AMD-soc's en Alveo Data Center Acceleration Cards.
