U ovom članku
Šta je to dobavljač izvršavanja?
AI komponente dobavljača izvršavanja su Windows AI komponente koje se koriste na Copilot+ računarima da bi se omogućilo hardversko ubrzano izvršavanje modela mašinskog učenja. Ove komponente se ponašaju kao sloj sabiranja hardvera između AI modela i osnovnih mašina računara – kao što su CPU, GPUs i NPU-ovi – što omogućava operativnom sistemu Windows i aplikacijama da efikasno pokreću AI radna opterećenja na najboljem dostupnom hardveru.
Dobavljač izvršavanja (EP) je modularna komponenta koja se integriše sa ONNX Runtime-om kako bi isporučila optimizacije specifične za hardver za AI izvođenje. Dobavljači izvršavanja rukuju zadacima kao što su particije grafikona, izbor jezgra i izvršavanje operatora, uz sabiranje složenosti biblioteka ubrzanja specifičnih za dobavljača. Ovaj dizajn omogućava jednom AI modelu da se pokreće u različitim konfiguracijama hardvera bez zahtevanja promena na nivou aplikacije.
Na Copilot+ računarima, komponente dobavljača izvršavanja AI podržavaju više hardverskih platformi i prodavaca silikonskih komponenti. Primeri obuhvataju dobavljače izvršavanja optimizovane za Intel, AMD, Qualcomm i NVIDIA hardver, pri čemu svaki omogućava AI modelima da iskoriste pogodnosti specijalizovanih akceleratora kao što su NPU-i ili GPU-i kada su dostupni. Kada hardversko ubrzanje nije podržano za dato radno opterećenje, izvršavanje se automatski vraća na kompatibilno potporno okruženje računara, osiguravajući pouzdanost i kompatibilnost uređaja sa širokim uređajima.
Komponente dobavljača izvršavanja AI su osnovni deo Windows AI platforme. Koriste ih funkcije operativnog sistema Windows, Kopilot+ iskustva i aplikacije za programere koje se oslanjaju na lokalnu AI inference. Dinamičkim izborom i upravljanjem dobavljačima izvršavanja, Windows može da isporuči performanse niskog kašnjenja, poboljšanu efikasnost i dosledno AI ponašanje u različitim konfiguracijama uređaja.
MIGraphX dobavljač izvršavanja
Dobavljač izvršavanja MIGraphX je dobavljač AMD izvršavanja (EP) koji se koristi uz ONNX Runtime / Windows machine-learning (ML) za obezbeđivanje hardverski ubrzanog izvršavanja otpremanjem podržanih operacija ONNX modela u AMD GPU-ove. Zasnovan je na AMD mašini za procenu MIGraphX grafikona, što ubrzava izvođenje modela mašinskog učenja i omogućava optimizacije specifične za hardver prilikom pokretanja ONNX modela na AMD GPU hardveru.
NVIDIA TensorRT-RTX dobavljač izvršavanja
NVIDIA TensorRT-RTX dobavljač izvršavanja je ONNX Runtime / Windows ML dobavljač izvršavanja (EP) dizajniran posebno da ubrza izvođenje ONNX modela na NVIDIA RTX GPUs za klijentske scenarije (računar sa krajnjim korisnikom). On koristi tensorRT NVIDIA-a za RTX vreme izvršavanja da bi generisala i pokrenula mašine za izvođenje optimizovane za RTX na lokalnom GPU-u, što omogućava operativnom sistemu Windows i aplikacijama da iskoriste prednosti RTX hardverskog ubrzanja.
Intel OpenVINO dobavljač izvršavanja
Intel OpenVINO dobavljač izvršavanja je dobavljač izvršavanja (EP) koji se koristi uz ONNX Runtime / Windows ML za omogućavanje hardverskog ubrzavanja izvršavanja na Intel platformama. Ubrzava ONNX modele na Intel CPU-ovima, GPU-ovima i NPU-ovima, što omogućava operativnom sistemu Windows i aplikacijama da iskoriste prednosti Intel hardverskih optimizacija za radna opterećenja za mašinsko učenje.
Qualcomm QNN dobavljač izvršavanja
Qualcomm QNN dobavljač izvršavanja je dobavljač izvršavanja (EP) za ONNX Runtime (i Windows ML scenarije koji koriste ONNX Runtime) koji omogućava izvršavanje ubrzano hardverom u Qualcomm skupovima čipova. Koristi Qualcomm AI Engine Direct SDK (QNN SDK) za konstruisanje QNN grafikona od ONNX modela koji zatim izvršava podržana biblioteka potpornog akceleratora.
AMD Vitis AI dobavljač izvršavanja
AMD Vitis AI Dobavljač izvršavanja je dobavljač izvršavanja koji se koristi uz ONNX Runtime / Windows ML koji omogućava AI izvođenje ubrzanog hardverom na AMD platformama. U objavljenim porukama korporacije Microsoft, Vitis AI je AMD razvojni niz za AI izvođenje hardverski ubrzanog AI i cilja AMD platforme, uključujući Ryzen AI, AMD Adaptable SoCs i Alveo Data Center Kartice za ubrzanje.
