Dans cet article
Qu’est-ce qu’un fournisseur d’exécution ?
Les composants IA du fournisseur d’exécution sont des composants Windows AI utilisés sur les PC Copilot+ pour permettre l’exécution à accélération matérielle des modèles Machine Learning. Ces composants agissent comme la couche d’abstraction matérielle entre les modèles IA et les moteurs de calcul sous-jacents, tels que les processeurs, les GPU et les NPU, ce qui permet à Windows et aux applications d’exécuter efficacement des charges de travail IA sur le meilleur matériel disponible.
Un fournisseur d’exécution (EP) est un composant modulaire qui s’intègre au runtime ONNX pour fournir des optimisations spécifiques au matériel pour l’inférence d’IA. Les fournisseurs d’exécution gèrent des tâches telles que le partitionnement de graphe, la sélection du noyau et l’exécution des opérateurs, tout en faisant abstraction de la complexité des bibliothèques d’accélération spécifiques au fournisseur. Cette conception permet à un modèle IA unique de s’exécuter sur diverses configurations matérielles sans nécessiter de modifications au niveau de l’application.
Sur les PC Copilot+, les composants IA du fournisseur d’exécution prennent en charge plusieurs plateformes matérielles et fournisseurs de silicium. Par exemple, des fournisseurs d’exécution optimisés pour le matériel Intel, AMD, Qualcomm et NVIDIA, chacun permettant aux modèles IA de tirer parti d’accélérateurs spécialisés tels que les NPU ou les GPU lorsqu’ils sont disponibles. Lorsque l’accélération matérielle n’est pas prise en charge pour une charge de travail donnée, l’exécution revient automatiquement à un serveur principal de calcul compatible, ce qui garantit la fiabilité et la compatibilité étendue des appareils.
Les composants IA du fournisseur d’exécution sont une partie fondamentale de la plateforme d’IA Windows. Ils sont utilisés par les fonctionnalités Windows, les expériences Copilot+ et les applications de développement qui s’appuient sur l’inférence ia locale. En sélectionnant et en gérant dynamiquement les fournisseurs d’exécution, Windows peut offrir des performances à faible latence, une efficacité énergétique améliorée et un comportement d’IA cohérent sur différentes configurations d’appareil.
Fournisseur d’exécution MIGraphX
Le fournisseur d’exécution MIGraphX est un fournisseur d’exécution AMD (EP) utilisé avec ONNX Runtime/Windows Machine Learning (ML) pour fournir une inférence à accélération matérielle en déchargeant les opérations de modèle ONNX prises en charge vers des GPU AMD. Il est basé sur le moteur d’inférence de graphe MIGraphX d’AMD, qui accélère l’inférence de modèle Machine Learning et permet des optimisations spécifiques au matériel lors de l’exécution de modèles ONNX sur du matériel GPU AMD.
Fournisseur d’exécution NVIDIA TensorRT-RTX
Le fournisseur d’exécution NVIDIA TensorRT-RTX est un fournisseur d’exécution ONNX/Windows ML conçu spécifiquement pour accélérer l’inférence de modèle ONNX sur les GPU NVIDIA RTX pour les scénarios centrés sur le client (PC utilisateur final). Il tire parti du runtime TensorRT pour RTX de NVIDIA pour générer et exécuter des moteurs d’inférence optimisés RTX sur le GPU local, ce qui permet à Windows et aux applications de tirer parti de l’accélération matérielle RTX.
Fournisseur d’exécution Intel OpenVINO
Le fournisseur d’exécution Intel OpenVINO est un fournisseur d’exécution (EP) utilisé avec ONNX Runtime/Windows ML pour activer l’inférence à accélération matérielle sur les plateformes Intel. Il accélère les modèles ONNX sur les processeurs Intel, les GPU et les NPU, ce qui permet à Windows et aux applications de tirer parti des optimisations matérielles Intel pour les charges de travail d’apprentissage automatique.
Fournisseur d’exécution QNN De Qualcomm
Le fournisseur d’exécution QNN de Qualcomm est un fournisseur d’exécution (EP) pour ONNX Runtime (et les scénarios Windows ML qui utilisent ONNX Runtime) qui permet une exécution à accélération matérielle sur les circuits de puces Qualcomm. Il utilise le SDK Direct du moteur Qualcomm AI (SDK QNN) pour construire un graphe QNN à partir d’un modèle ONNX, qui est ensuite exécuté par une bibliothèque back-end d’accélérateur prise en charge.
Fournisseur d’exécution d’IA AMD Vitis
Le fournisseur d’exécution d’IA AMD Vitis est un fournisseur d’exécution utilisé avec ONNX Runtime/Windows ML qui permet l’inférence d’IA à accélération matérielle sur les plateformes AMD. Dans la formulation publiée par Microsoft, Vitis AI est la pile de développement d’AMD pour l’inférence d’IA à accélération matérielle, et elle cible les plateformes AMD, notamment Ryzen AI, LES SOC adaptables AMD et les cartes d’accélération du centre de données Alveo.
