Neste artigo
O que é um fornecedor de execução?
Os componentes de IA do Fornecedor de Execução são componentes de IA do Windows utilizados em PCs Copilot+ para permitir a execução acelerada por hardware de modelos de machine learning. Estes componentes funcionam como a camada de abstração de hardware entre os modelos de IA e os motores de computação subjacentes, como CPUs, GPUs e NPUs, permitindo que o Windows e as aplicações executem cargas de trabalho de IA de forma eficiente no melhor hardware disponível.
Um fornecedor de execução (EP) é um componente modular que se integra com o OnNX Runtime para fornecer otimizações específicas de hardware para inferência de IA. Os fornecedores de execução processam tarefas como a criação de partições de grafos, a seleção de kernel e a execução de operadores, enquanto abstraem a complexidade das bibliotecas de aceleração específicas do fornecedor. Esta estrutura permite que um único modelo de IA seja executado em diversas configurações de hardware sem necessidade de alterações ao nível da aplicação.
Em PCs Copilot+, os componentes de IA do fornecedor de execução suportam várias plataformas de hardware e fornecedores de silicone. Os exemplos incluem fornecedores de execução otimizados para hardware Intel, AMD, Qualcomm e NVIDIA, cada um permitindo que os modelos de IA tirem partido de aceleradores especializados, como NPUs ou GPUs, quando disponíveis. Quando a aceleração de hardware não é suportada para uma determinada carga de trabalho, a execução reverte automaticamente para um back-end de computação compatível, garantindo fiabilidade e ampla compatibilidade de dispositivos.
Os componentes de IA do Fornecedor de Execução são uma parte fundamental da plataforma de IA do Windows. São utilizadas por funcionalidades do Windows, experiências Copilot+ e aplicações de programador que dependem da inferência de IA local. Ao selecionar e gerir dinamicamente os fornecedores de execução, o Windows pode proporcionar um desempenho de baixa latência, uma eficiência de energia melhorada e um comportamento consistente de IA em diferentes configurações de dispositivos.
Fornecedor de execução MIGraphX
O fornecedor de execução MIGraphX é um fornecedor de execução AMD (EP) utilizado com ONNX Runtime/Machine Learning do Windows (ML) para fornecer inferência acelerada por hardware ao descarregar operações de modelo ONNX suportadas para GPUs AMD. Baseia-se no motor de inferência de grafos MIGraphX da AMD, que acelera a inferência de modelos de machine learning e permite otimizações específicas de hardware ao executar modelos ONNX em hardware GPU AMD.
Fornecedor de Execução NVIDIA TensorRT-RTX
O Fornecedor de Execução NVIDIA TensorRT-RTX é um fornecedor de execução ONNX Runtime/Windows ML (EP) concebido especificamente para acelerar a inferência do modelo ONNX em GPUs NVIDIA RTX para cenários centrados no cliente (PC do utilizador final). Tira partido do TensorRT da NVIDIA para o runtime RTX para gerar e executar motores de inferência otimizados para RTX na GPU local, permitindo que o Windows e as aplicações tirem partido da aceleração de hardware RTX.
Fornecedor de Execução Intel OpenVINO
O Fornecedor de Execução Intel OpenVINO é um fornecedor de execução (EP) utilizado com ONNX Runtime/Windows ML para ativar a inferência acelerada por hardware em plataformas Intel. Acelera os modelos ONNX em CPUs, GPUs e NPUs Intel, permitindo que o Windows e as aplicações tirem partido das otimizações de hardware da Intel para cargas de trabalho de machine learning.
Fornecedor de Execução Qualcomm QNN
O Fornecedor de Execução Qualcomm QNN é um fornecedor de execução (EP) para o ONNX Runtime (e cenários de ML do Windows que utilizam o ONNX Runtime) que permite a execução acelerada por hardware em chipsets Qualcomm. Utiliza o SDK Direto do Motor qualcomm AI (SDK QNN) para construir um grafo QNN a partir de um modelo ONNX, que é depois executado por uma biblioteca de back-end de acelerador suportada.
Fornecedor de Execução de IA do AMD Vitis
O Fornecedor de Execução de IA do AMD Vitis é um fornecedor de execução utilizado com o ONNX Runtime/Windows ML que permite a inferência de IA acelerada por hardware em plataformas AMD. Na redação publicada da Microsoft, o Vitis AI é a pilha de desenvolvimento da AMD para inferência de IA acelerada por hardware e destina-se a plataformas AMD, incluindo Ryzen AI, AmD Adaptable SoCs e Cartões de Aceleração do Centro de Dados do Alveo.
