I denne artikkelen
Hva er en leverandør av kjøring?
Ai-komponenter for kjøringsleverandør er Komponenter for Windows AI som brukes på Copilot+ PC-er for å muliggjøre maskinvareakselerert kjøring av maskinlæringsmodeller. Disse komponentene fungerer som maskinvareabstraksjonslaget mellom AI-modeller og de underliggende databehandlingsmotorene, for eksempel CPU-er, GPU-er og NPU-er, slik at Windows og programmer kan kjøre AI-arbeidsbelastninger effektivt på den beste tilgjengelige maskinvaren.
En kjøringsleverandør er en modulær komponent som integreres med ONNX Runtime for å levere maskinvarespesifikke optimaliseringer for AI-slutning. Kjøringsleverandører håndterer oppgaver som grafpartisjonering, kjernevalg og operatorutføring, samtidig som kompleksiteten til leverandørspesifikke akselerasjonsbiblioteker abstraheres. Denne utformingen gjør det mulig for én enkelt AI-modell å kjøre på tvers av ulike maskinvarekonfigurasjoner uten å kreve endringer på programnivå.
På Copilot+ PC-er støtter ai-komponenter for utførelsesleverandør flere maskinvareplattformer og silisiumleverandører. Eksempler inkluderer kjøringsleverandører som er optimalisert for Intel-, AMD-, Qualcomm- og NVIDIA-maskinvare, som hver aktiverer AI-modeller for å dra nytte av spesialiserte akseleratorer som NPU-er eller GPU-er når de er tilgjengelige. Når maskinvareakselerasjon ikke støttes for en gitt arbeidsbelastning, går kjøringen automatisk tilbake til en kompatibel serverdel for databehandling, noe som sikrer pålitelighet og bred enhetskompatibilitet.
Ai-komponenter for kjøringsleverandør er en grunnleggende del av Windows AI-plattformen. De brukes av Windows-funksjoner, Copilot+-opplevelser og utviklerprogrammer som er avhengige av lokal AI-slutning. Ved å velge og administrere kjøringsleverandører dynamisk, kan Windows levere lav ventetidsytelse, forbedret strømeffektivitet og konsekvent virkemåte for kunstig intelligens på tvers av ulike enhetskonfigurasjoner.
MIGraphX-leverandør for kjøring
MiGraphX-kjøringsleverandøren er en AMD-kjøringsleverandør som brukes med ONNX Runtime / Windows-maskinlæring for å levere maskinvareakselerert slutning ved å avlaste støttede ONNX-modelloperasjoner til AMD GPU-er. Den er basert på AMDs MIGraphX-grafreferansemotor, som akselererer maskinlæringsmodellslutning og muliggjør maskinvarespesifikke optimaliseringer når du kjører ONNX-modeller på AMD GPU-maskinvare.
NVIDIA TensorRT-RTX-leverandør for kjøring
NVIDIA TensorRT-RTX Execution Provider er en ONNX Runtime / Windows maskinlæringsleverandør designet spesielt for å akselerere ONNX-modellreferansen på NVIDIA RTX GPU-er for klientorienterte (sluttbruker-PC)-scenarier. Den drar nytte av NVIDIAs TensorRT for RTX-kjøretid for å generere og kjøre RTX-optimaliserte slutningsmotorer på den lokale GPU-en, slik at Windows og apper kan dra nytte av RTX-maskinvareakselerasjon.
Leverandør for kjøring av Intel OpenVINO
Leverandøren av Kjøring av Intel OpenVINO er en kjøringsleverandør som brukes med ONNX Runtime / Windows-maskinlæring for å aktivere maskinvareakselerert slutning på Intel-plattformer. Den akselererer ONNX-modeller på Intel-CPU-er, GPU-er og NPU-er, slik at Windows og programmer kan dra nytte av Intel-maskinvareoptimaliseringer for maskinlæringsarbeidsbelastninger.
Qualcomm QNN Execution Provider
Qualcomm QNN Execution Provider er en utførelsesleverandør for ONNX Runtime (og Windows maskinlæringsscenarioer som bruker ONNX Runtime) som muliggjør maskinvareakselerert utførelse på Qualcomm-brikkesett. Den bruker Qualcomm AI Engine Direct SDK (QNN SDK) til å konstruere en QNN-graf fra en ONNX-modell, som deretter utføres av et støttet akselerator-serverdelbibliotek.
Leverandør av KJØRING AV AMD Vitis AI
AMD Vitis AI Execution Provider er en kjøringsleverandør som brukes med ONNX Runtime / Windows-maskinlæring som muliggjør maskinvareakselerert AI-slutning på AMD-plattformer. Vitis AI er AMDs utviklingsstabel for maskinvareakselerert AI-slutning, og retter seg mot AMD-plattformer, inkludert Ryzen AI, AMD Adaptable SoCs og Alveo Data Center Acceleration Cards.
