- Wat is een uitvoeringsprovider?
- MIGraphX-uitvoeringsprovider
- NVIDIA TensorRT-RTX-uitvoeringsprovider
- Intel OpenVINO-uitvoeringsprovider
- Qualcomm QNN-uitvoeringsprovider
- AMD Vitis AI-uitvoeringsprovider
Wat is een uitvoeringsprovider?
AI-onderdelen van uitvoeringsprovider zijn Windows AI-onderdelen die worden gebruikt op Copilot+ PC's om hardwareversnelde uitvoering van machine learning-modellen mogelijk te maken. Deze onderdelen fungeren als de hardware-abstractielaag tussen AI-modellen en de onderliggende rekenengines, zoals CPU's, GPU's en NPU's, waardoor Windows en toepassingen AI-workloads efficiënt kunnen uitvoeren op de best beschikbare hardware.
Een uitvoeringsprovider is een modulaire component die kan worden geïntegreerd met de ONNX Runtime om hardwarespecifieke optimalisaties voor AI-inferentie te leveren. Uitvoeringsproviders verwerken taken zoals grafiekpartitionering, kernelselectie en operatoruitvoering, terwijl de complexiteit van leverancierspecifieke versnellingsbibliotheken wordt geabstraheerd. Dankzij dit ontwerp kan één AI-model worden uitgevoerd in diverse hardwareconfiguraties zonder dat wijzigingen op toepassingsniveau nodig zijn.
Op Copilot+ PC's ondersteunen AI-onderdelen van uitvoeringsprovider meerdere hardwareplatforms en siliciumleveranciers. Voorbeelden hiervan zijn uitvoeringsproviders die zijn geoptimaliseerd voor Intel-, AMD-, Qualcomm- en NVIDIA-hardware, waardoor AI-modellen kunnen profiteren van gespecialiseerde accelerators zoals NPU's of GPU's, indien beschikbaar. Wanneer hardwareversnelling niet wordt ondersteund voor een bepaalde workload, valt de uitvoering automatisch terug op een compatibele rekenback-end, wat betrouwbaarheid en brede apparaatcompatibiliteit garandeert.
AI-onderdelen van de uitvoeringsprovider vormen een fundamenteel onderdeel van het Windows AI-platform. Ze worden gebruikt door Windows-functies, Copilot+ ervaringen en ontwikkelaarstoepassingen die afhankelijk zijn van lokale AI-deductie. Door uitvoeringsproviders dynamisch te selecteren en te beheren, kan Windows prestaties met lage latentie, verbeterde energie-efficiëntie en consistent AI-gedrag leveren voor verschillende apparaatconfiguraties.
MIGraphX-uitvoeringsprovider
De MIGraphX-uitvoeringsprovider is een AMD-uitvoeringsprovider die wordt gebruikt met ONNX Runtime / Windows machine learning om hardwareversnelde deductie te leveren door ondersteunde ONNX-modelbewerkingen over te dragen aan AMD-GPU's. Het is gebaseerd op AMD's MIGraphX-grafiekinferentie-engine, die machine-learningmodelinferentie versnelt en hardwarespecifieke optimalisaties mogelijk maakt bij het uitvoeren van ONNX-modellen op AMD GPU-hardware.
NVIDIA TensorRT-RTX-uitvoeringsprovider
De NVIDIA TensorRT-RTX-uitvoeringsprovider is een ONNX Runtime/Windows-provider voor machine learning-uitvoering die speciaal is ontworpen om ONNX-modeldeductie op NVIDIA RTX-GPU's te versnellen voor clientgerichte scenario's (eindgebruikers-pc). Het maakt gebruik van NVIDIA's TensorRT voor RTX-runtime om RTX-geoptimaliseerde inferentie-engines te genereren en uit te voeren op de lokale GPU, waardoor Windows en apps kunnen profiteren van RTX-hardwareversnelling.
Intel OpenVINO-uitvoeringsprovider
De Intel OpenVINO-uitvoeringsprovider is een uitvoeringsprovider die wordt gebruikt met ONNX Runtime / Windows machine learning om hardwareversnelde deductie op Intel-platforms mogelijk te maken. Het versnelt ONNX-modellen op Intel CPU's, GPU's en NPU's, waardoor Windows en toepassingen kunnen profiteren van Intel-hardware-optimalisaties voor machine-learning-workloads.
Qualcomm QNN-uitvoeringsprovider
De Qualcomm QNN-uitvoeringsprovider is een uitvoeringsprovider voor ONNX Runtime (en Windows-scenario's voor machine learning die gebruikmaken van ONNX Runtime) die hardwareversnelde uitvoering op Qualcomm-chipsets mogelijk maakt. Het maakt gebruik van de Qualcomm AI Engine Direct SDK (QNN SDK) om een QNN-grafiek te construeren op basis van een ONNX-model, dat vervolgens wordt uitgevoerd door een ondersteunde back-endbibliotheek voor accelerators.
AMD Vitis AI-uitvoeringsprovider
De AMD Vitis AI-uitvoeringsprovider is een uitvoeringsprovider die wordt gebruikt met ONNX Runtime/Windows machine learning die hardwareversnelde AI-deductie op AMD-platforms mogelijk maakt. Vitis AI is AMD's ontwikkelingsstack voor hardware-versnelde AI-inferentie en richt zich op AMD-platforms, waaronder Ryzen AI, AMD Adaptable SoC's en Alveo Data Center Acceleration Cards.