En este artículo
¿Qué es un proveedor de ejecución?
Los componentes de IA del proveedor de ejecución son componentes de IA de Windows usados en equipos Copilot+ para habilitar la ejecución acelerada por hardware de modelos de aprendizaje automático. Estos componentes actúan como la capa de abstracción de hardware entre los modelos de IA y los motores de proceso subyacentes, como CPU, GPU y NPU, lo que permite que Windows y las aplicaciones ejecuten cargas de trabajo de IA de forma eficaz en el mejor hardware disponible.
Un proveedor de ejecución (EP) es un componente modular que se integra con ONNX Runtime para ofrecer optimizaciones específicas del hardware para la inferencia de IA. Los proveedores de ejecución administran tareas como la partición gráfica, la selección de kernel y la ejecución de operadores, mientras se abstrae la complejidad de las bibliotecas de aceleración específicas del proveedor. Este diseño permite que un único modelo de IA se ejecute en diversas configuraciones de hardware sin necesidad de cambios en el nivel de aplicación.
En los equipos copilotos+, los componentes de IA del proveedor de ejecución son compatibles con varias plataformas de hardware y proveedores de placas de placa. Algunos ejemplos son los proveedores de ejecución optimizados para hardware Intel, AMD, Qualcomm y NVIDIA, y cada uno permite que los modelos de IA aprovechen las ventajas de aceleradores especializados, como NPU o GPU, cuando estén disponibles. Cuando no se admite la aceleración de hardware para una carga de trabajo determinada, la ejecución vuelve automáticamente a un back-end de proceso compatible, lo que garantiza la confiabilidad y la compatibilidad amplia del dispositivo.
Los componentes de IA del proveedor de ejecución son una parte fundamental de la plataforma de IA de Windows. Las usan las características de Windows, las experiencias de Copilot+ y las aplicaciones de desarrollador que dependen de la deducción local de IA. Al seleccionar y administrar dinámicamente proveedores de ejecución, Windows puede ofrecer rendimiento de baja latencia, eficiencia de energía mejorada y comportamiento coherente de IA en diferentes configuraciones de dispositivos.
Proveedor de ejecución MIGraphX
El proveedor de ejecución MIGraphX es un proveedor de ejecución de AMD (EP) usado con ONNX Runtime / Aprendizaje automático de Windows (ML) para ofrecer inferencia acelerada por hardware mediante la descarga de operaciones de modelo ONNX compatibles con GPU AMD. Se basa en el motor de inferencia gráfica MIGraphX de AMD, que acelera la inferencia del modelo de aprendizaje automático y permite optimizaciones específicas del hardware al ejecutar modelos ONNX en hardware GPU AMD.
Proveedor de ejecución NVIDIA TensorRT-RTX
El proveedor de ejecución NVIDIA TensorRT-RTX es un proveedor de ejecución ONNX Runtime / Windows ML (EP) diseñado específicamente para acelerar la inferencia del modelo ONNX en GPU NVIDIA RTX para escenarios centrados en el cliente (PC del usuario final). Aprovecha tensorRT de NVIDIA para tiempo de ejecución RTX para generar y ejecutar motores de deducción optimizados para RTX en la GPU local, lo que permite a Windows y las aplicaciones aprovechar las ventajas de la aceleración de hardware RTX.
Proveedor de ejecución de Intel OpenVINO
El Proveedor de ejecución Intel OpenVINO es un proveedor de ejecución (EP) usado con ONNX Runtime /Windows ML para habilitar la inferencia acelerada por hardware en plataformas Intel. Acelera los modelos ONNX en CPU Intel, GPU y NPU, lo que permite a Windows y a las aplicaciones aprovechar las optimizaciones de hardware de Intel para cargas de trabajo de aprendizaje automático.
Proveedor de ejecución de Qualcomm QNN
El Proveedor de ejecución de QNN de Qualcomm es un proveedor de ejecución (EP) para ONNX Runtime (y escenarios de Windows ML que usan ONNX Runtime) que permite la ejecución acelerada por hardware en conjuntos de chips Qualcomm. Usa el SDK Qualcomm AI Engine Direct (SDK de QNN) para construir un gráfico QNN a partir de un modelo ONNX, que luego es ejecutado por una biblioteca back-end acelerador compatible.
Proveedor de ejecución de IA AMD Vitis
El proveedor de ejecución AI de AMD Vitis es un proveedor de ejecución usado con ONNX Runtime / Windows ML que permite la inferencia de IA acelerada por hardware en plataformas AMD. En el texto publicado de Microsoft, Vitis AI es la pila de desarrollo de AMD para la inferencia de IA acelerada por hardware, y se centra en plataformas AMD, entre las que se incluyen Ryzen AI, SOCs adaptables de AMD y tarjetas de aceleración de centros de datos Alveo.
