Contenuto dell'articolo
Che cos'è un provider di esecuzione?
I componenti IA del provider di esecuzione sono componenti IA di Windows utilizzati nei PC Copilot+ per abilitare l'esecuzione con accelerazione hardware dei modelli di apprendimento automatico. Questi componenti fungono da livello di astrazione hardware tra i modelli di intelligenza artificiale e i motori di calcolo sottostanti, come CPU, GPU e PNG, consentendo a Windows e alle applicazioni di eseguire i carichi di lavoro IA in modo efficiente sui migliori hardware disponibili.
Un provider di esecuzione è un componente modulare che si integra con ONNX Runtime per fornire ottimizzazioni specifiche dell'hardware per l'inferenza dell'intelligenza artificiale. I provider di esecuzione gestiscono attività come il partizionamento grafico, la selezione del kernel e l'esecuzione dell'operatore, astraendo al contempo la complessità delle librerie di accelerazione specifiche del fornitore. Questa progettazione consente a un singolo modello di intelligenza artificiale di essere eseguito su diverse configurazioni hardware senza richiedere modifiche a livello di applicazione.
Nei PC Copilot+ i componenti AI del provider di esecuzione supportano più piattaforme hardware e fornitori di processori. Gli esempi includono provider di esecuzione ottimizzati per hardware Intel, AMD, Qualcomm e NVIDIA, ognuno dei quali consente ai modelli di intelligenza artificiale di sfruttare acceleratori specializzati, ad esempio PPU o GPU, quando disponibili. Quando l'accelerazione hardware non è supportata per un determinato carico di lavoro, l'esecuzione torna automaticamente a un back-end di elaborazione compatibile, garantendo affidabilità e un'ampia compatibilità dei dispositivi.
I componenti IA del provider di esecuzione sono una parte fondamentale della piattaforma IA di Windows. Vengono utilizzati dalle funzionalità di Windows, dalle esperienze Copilot+ e dalle applicazioni per sviluppatori che si basano sull'inferenza dell'intelligenza artificiale locale. Selezionando e gestendo dinamicamente i provider di esecuzione, Windows può offrire prestazioni a bassa latenza, maggiore efficienza energetica e un comportamento IA coerente in configurazioni di dispositivi diverse.
Provider di esecuzione MIGraphX
Il provider di esecuzione MIGraphX è un provider di esecuzione AMD utilizzato con ONNX Runtime/Apprendimento automatico di Windows per fornire inferenze con accelerazione hardware tramite il offload delle operazioni del modello ONNX supportate agli GPU AMD. Si basa sul motore di inferenza del grafico MIGraphX di AMD, che accelera l'inferenza del modello di apprendimento automatico e abilita ottimizzazioni specifiche dell'hardware durante l'esecuzione di modelli ONNX su hardware AMD GPU.
Provider di esecuzione NVIDIA TensorRT-RTX
Il provider di esecuzione NVIDIA TensorRT-RTX è un provider di esecuzione dell'apprendimento automatico ONNX Runtime/Windows progettato specificamente per accelerare l'inferenza del modello ONNX nelle GPU NVIDIA RTX per scenari basati sul client (PC per utente finale). Sfrutta TensorRT di NVIDIA per il runtime RTX per generare ed eseguire motori di inferenza ottimizzati per RTX nella GPU locale, consentendo a Windows e alle app di sfruttare l'accelerazione hardware RTX.
Intel OpenVINO Execution Provider
Intel OpenVINO Execution Provider è un provider di esecuzione utilizzato con ONNX Runtime/Apprendimento automatico di Windows per abilitare l'inferenza con accelerazione hardware sulle piattaforme Intel. Accelera i modelli ONNX su CPU Intel, GPU e PPU, consentendo a Windows e alle applicazioni di sfruttare le ottimizzazioni hardware Intel per i carichi di lavoro di apprendimento automatico.
Qualcomm QNN Execution Provider
Il provider di esecuzione QNN Qualcomm è un provider di esecuzione per ONNX Runtime (e scenari di apprendimento automatico di Windows che usano ONNX Runtime) che consente l'esecuzione con accelerazione hardware nei chipset Qualcomm. Utilizza Qualcomm AI Engine Direct SDK (QNN SDK) per creare un grafico QNN da un modello ONNX, che viene quindi eseguito da una libreria back-end di acceleratore supportata.
AMD Vitis AI Execution Provider
AMD Vitis AI Execution Provider è un provider di esecuzione utilizzato con ONNX Runtime/Apprendimento automatico di Windows che consente l'inferenza dell'INTELLIGENZA accelerata hardware sulle piattaforme AMD. Vitis AI è lo stack di sviluppo di AMD per l'inferenza dell'INTELLIGENZA accelerata hardware e riguarda piattaforme AMD tra cui Ryzen AI, SOC adattabili AMD e schede di accelerazione alveo data center.
