Neste artigo
O que é um provedor de execução?
Os componentes de IA do Provedor de Execução são componentes de IA do Windows usados em PCs Copilot+ para habilitar a execução acelerada por hardware de modelos de machine learning. Esses componentes atuam como a camada de abstração de hardware entre modelos de IA e os mecanismos de computação subjacentes, como CPUs, GPUs e NPUs, permitindo que o Windows e os aplicativos executem cargas de trabalho de IA com eficiência no melhor hardware disponível.
Um EP (provedor de execução) é um componente modular que se integra ao ONNX Runtime para fornecer otimizações específicas de hardware para inferência de IA. Os provedores de execução lidam com tarefas como particionamento de grafo, seleção de kernel e execução do operador, ao mesmo tempo em que abstraem a complexidade das bibliotecas de aceleração específicas do fornecedor. Esse design permite que um único modelo de IA seja executado em diversas configurações de hardware sem exigir alterações no nível do aplicativo.
Em PCs Copilot+, os componentes de IA do provedor de execução dão suporte a várias plataformas de hardware e fornecedores de silício. Exemplos incluem provedores de execução otimizados para hardware Intel, AMD, Qualcomm e NVIDIA, cada um permitindo que modelos de IA aproveitem aceleradores especializados, como NPUs ou GPUs, quando disponíveis. Quando não há suporte para aceleração de hardware para uma determinada carga de trabalho, a execução volta automaticamente para um back-end de computação compatível, garantindo confiabilidade e ampla compatibilidade do dispositivo.
Os componentes de IA do Provedor de Execução são uma parte fundamental da plataforma de IA do Windows. Eles são usados por recursos do Windows, experiências copilot+ e aplicativos de desenvolvedor que dependem da inferência de IA local. Ao selecionar e gerenciar dinamicamente provedores de execução, o Windows pode fornecer desempenho de baixa latência, melhor eficiência de energia e comportamento consistente de IA em diferentes configurações de dispositivo.
Provedor de execução MIGraphX
O provedor de execução MIGraphX é um EP (provedor de execução AMD) usado com ml (machine learning) do ONNX Runtime/Windows para fornecer inferência acelerada por hardware descarregando operações de modelo ONNX com suporte para GPUs AMD. Ele é baseado no mecanismo de inferência de grafo MIGraphX da AMD, que acelera a inferência do modelo de aprendizado de máquina e permite otimizações específicas de hardware ao executar modelos ONNX em hardware de GPU AMD.
Provedor de Execução NVIDIA TensorRT-RTX
O Provedor de Execução NVIDIA TensorRT-RTX é um EP (provedor de execução ONNX Runtime/Windows ML) projetado especificamente para acelerar a inferência do modelo ONNX em GPUs NVIDIA RTX para cenários centrados no cliente (computador de usuário final). Ele aproveita o TensorRT da NVIDIA para o runtime RTX para gerar e executar mecanismos de inferência com otimização RTX na GPU local, permitindo que Windows e aplicativos aproveitem a aceleração de hardware RTX.
Provedor de Execução Do Intel OpenVINO
O Provedor de Execução Do Intel OpenVINO é um EP (provedor de execução) usado com o ONNX Runtime/Windows ML para habilitar a inferência acelerada por hardware em plataformas Intel. Ele acelera os modelos ONNX em CPUs, GPUs e NPUs intel, permitindo que o Windows e aplicativos aproveitem as otimizações de hardware intel para cargas de trabalho de machine learning.
Provedor de execução de QNN da Qualcomm
O Provedor de Execução de QNN da Qualcomm é um EP (provedor de execução) para cenários onnx runtime (e ML do Windows que usam o ONNX Runtime) que permite a execução acelerada por hardware em chipsets qualcomm. Ele usa o SDK do Mecanismo de IA da Qualcomm (SDK do QNN) para construir um grafo QNN a partir de um modelo ONNX, que é executado por uma biblioteca de back-end do acelerador com suporte.
Provedor de execução de IA do AMD Vitis
O Provedor de Execução de IA do AMD Vitis é um provedor de execução usado com o ONNX Runtime/Windows ML que permite a inferência de IA acelerada por hardware em plataformas AMD. Na redação publicada da Microsoft, a IA da Vitis é a pilha de desenvolvimento da AMD para inferência de IA acelerada por hardware e tem como destino plataformas AMD, incluindo IA do Ryzen, SoCs Adaptáveis AMD e Cartões de Aceleração do Alveo Data Center.
