In dit artikel
Wat is een uitvoeringsprovider?
AI-onderdelen van execution provider zijn Windows AI-onderdelen die worden gebruikt op Copilot+-pc's om hardware-versnelde uitvoering van machine learning-modellen mogelijk te maken. Deze onderdelen fungeren als de hardwareabstractielaag tussen AI-modellen en de onderliggende rekenengines, zoals CPU's, GPU's en NPU's, zodat Windows en toepassingen AI-workloads efficiënt kunnen uitvoeren op de best beschikbare hardware.
Een uitvoeringsprovider (EP) is een modulair onderdeel dat kan worden geïntegreerd met de ONNX Runtime om hardwarespecifieke optimalisaties voor AI-deductie te leveren. Uitvoeringsproviders verwerken taken zoals grafiekpartitionering, kernelselectie en operatoruitvoering, terwijl de complexiteit van leverancierspecifieke versnellingsbibliotheken wordt abstract gemaakt. Met dit ontwerp kan één AI-model worden uitgevoerd in verschillende hardwareconfiguraties zonder dat wijzigingen op toepassingsniveau nodig zijn.
Op Copilot+-pc's ondersteunen AI-onderdelen van de uitvoeringsprovider meerdere hardwareplatforms en siliciumleveranciers. Voorbeelden zijn uitvoerproviders die zijn geoptimaliseerd voor Intel-, AMD-, Qualcomm- en NVIDIA-hardware, die AI-modellen in staat stellen te profiteren van gespecialiseerde accelerators, zoals NPU's of GPU's, indien beschikbaar. Wanneer hardwareversnelling niet wordt ondersteund voor een bepaalde workload, valt de uitvoering automatisch terug naar een compatibele compute-back-end, wat zorgt voor betrouwbaarheid en brede apparaatcompatibiliteit.
AI-onderdelen van execution provider vormen een fundamenteel onderdeel van het Windows AI-platform. Ze worden gebruikt door Windows-functies, Copilot+-ervaringen en ontwikkelaarstoepassingen die afhankelijk zijn van lokale AI-deductie. Door uitvoeringsproviders dynamisch te selecteren en te beheren, kan Windows prestaties met lage latentie, verbeterde energie-efficiëntie en consistent AI-gedrag leveren voor verschillende apparaatconfiguraties.
MIGraphX-uitvoeringsprovider
De MIGraphX-uitvoeringsprovider is een AMD Execution Provider (EP) die wordt gebruikt met ONNX Runtime/Windows machine learning (ML) om hardwareversnelde deductie te leveren door ondersteunde ONNX-modelbewerkingen te offloaden naar AMD-GPU's. Het is gebaseerd op AMD's MIGraphX graph inference engine, die machine learning model deductie versnelt en hardwarespecifieke optimalisaties mogelijk maakt bij het uitvoeren van ONNX-modellen op AMD GPU-hardware.
NVIDIA TensorRT-RTX-uitvoeringsprovider
De NVIDIA TensorRT-RTX Execution Provider is een ONNX Runtime/Windows ML Execution Provider (EP) die specifiek is ontworpen om DEductie van ONNX-modellen op NVIDIA RTX-GPU's te versnellen voor clientgerichte scenario's (pc's voor eindgebruikers). Het maakt gebruik van NVIDIA's TensorRT voor RTX-runtime om rtx-geoptimaliseerde deductie-engines te genereren en uit te voeren op de lokale GPU, zodat Windows en apps kunnen profiteren van RTX-hardwareversnelling.
Intel OpenVINO-uitvoeringsprovider
De Intel OpenVINO Execution Provider is een uitvoeringsprovider (EP) die wordt gebruikt met ONNX Runtime/Windows ML om hardware-versnelde deductie op Intel-platforms in te schakelen. Het versnelt ONNX-modellen op Intel-CPU's, GPU's en NPU's, waardoor Windows en toepassingen kunnen profiteren van Intel-hardwareoptimalisaties voor machine learning-workloads.
Qualcomm QNN-uitvoeringsprovider
De Qualcomm QNN Execution Provider is een uitvoeringsprovider (EP) voor ONNX Runtime (en Windows ML-scenario's die GEBRUIKMAKEN van ONNX Runtime) die hardware-versnelde uitvoering op Qualcomm-chipsets mogelijk maakt. Het maakt gebruik van de Qualcomm AI Engine Direct SDK (QNN SDK) om een QNN-grafiek te maken op basis van een ONNX-model, dat vervolgens wordt uitgevoerd door een ondersteunde back-endbibliotheek voor accelerators.
AMD Vitis AI Execution Provider
De AMD Vitis AI Execution Provider is een uitvoeringsprovider die wordt gebruikt met ONNX Runtime/Windows ML die hardwareversnelde AI-deductie op AMD-platforms mogelijk maakt. In de gepubliceerde formulering van Microsoft is Vitis AI de ontwikkelstack van AMD voor hardwareversnelde AI-deductie en is het gericht op AMD-platforms, waaronder Ryzen AI, AMD Adaptable SoCs en Alveo Data Center Acceleration Cards.
