Di artikel ini
Apa itu penyedia eksekusi?
Komponen AI Penyedia Eksekusi adalah komponen Windows AI yang digunakan pada Copilot+ PC untuk memungkinkan eksekusi model pembelajaran mesin yang dipercepat perangkat keras. Komponen ini bertindak sebagai lapisan abstraksi perangkat keras antara model AI dan mesin komputasi yang mendasari—seperti CPU, GPU, dan NPU—yang memungkinkan Windows dan aplikasi untuk menjalankan beban kerja AI secara efisien pada perangkat keras terbaik yang tersedia.
Penyedia eksekusi (EP) adalah komponen modular yang terintegrasi dengan ONNX Runtime untuk memberikan optimasi khusus perangkat keras untuk inferensi AI. Penyedia eksekusi menangani tugas seperti partisi grafik, pemilihan kernel, dan eksekusi operator, sambil mengabstraksi kerumitan pustaka akselerasi khusus vendor. Desain ini memungkinkan model AI tunggal untuk berjalan di berbagai konfigurasi perangkat keras tanpa memerlukan perubahan tingkat aplikasi.
Di Copilot+ PC, komponen AI penyedia eksekusi mendukung beberapa platform perangkat keras dan vendor silikon. Contohnya termasuk penyedia eksekusi yang dioptimalkan untuk perangkat keras Intel, AMD, Qualcomm, dan NVIDIA, masing-masing memungkinkan model AI untuk memanfaatkan akselerator khusus seperti NPU atau GPU jika tersedia. Ketika akselerasi perangkat keras tidak didukung untuk beban kerja tertentu, eksekusi secara otomatis jatuh kembali ke backend komputasi yang kompatibel, memastikan keandalan dan kompatibilitas perangkat yang luas.
Komponen AI Penyedia Eksekusi adalah bagian dasar dari platform Windows AI. Fitur tersebut digunakan oleh fitur Windows, pengalaman Copilot+, dan aplikasi pengembang yang mengandalkan inferensi AI lokal. Dengan memilih dan mengelola penyedia eksekusi secara dinamis, Windows dapat memberikan kinerja latensi rendah, meningkatkan efisiensi daya, dan perilaku AI yang konsisten di berbagai konfigurasi perangkat.
Penyedia eksekusi MIGraphX
Penyedia eksekusi MIGraphX adalah penyedia eksekusi AMD (EP) yang digunakan dengan ONNX Runtime / Windows machine-learning (ML) untuk memberikan inferensi yang dipercepat perangkat keras dengan menonaktifkan operasi model ONNX yang didukung ke GPU AMD. Ini didasarkan pada mesin inferensi grafik MIGraphX AMD, yang mempercepat inferensi model pembelajaran mesin dan memungkinkan optimisasi khusus perangkat keras saat menjalankan model ONNX pada perangkat keras AMD GPU.
Penyedia Eksekusi NVIDIA TensorRT-RTX
Penyedia Eksekusi NVIDIA TensorRT-RTX adalah penyedia eksekusi ONNX Runtime / Windows ML (EP) yang dirancang khusus untuk mempercepat inferensi model ONNX pada skenario NVIDIA RTX GPU untuk skenario client-centric (PC pengguna akhir). Ini memanfaatkan TensorRT NVIDIA untuk runtime RTX untuk menghasilkan dan menjalankan mesin inferensi yang dioptimalkan RTX pada GPU lokal, memungkinkan Windows dan aplikasi untuk memanfaatkan akselerasi perangkat keras RTX.
Penyedia Eksekusi Intel OpenVINO
Penyedia Eksekusi Intel OpenVINO adalah penyedia eksekusi (EP) yang digunakan dengan ONNX Runtime / Windows ML untuk mengaktifkan inferensi yang dipercepat perangkat keras pada platform Intel. Ini mempercepat model ONNX pada CPU Intel, GPU, dan NPU, yang memungkinkan Windows dan aplikasi untuk memanfaatkan optimisasi perangkat keras Intel untuk beban kerja pembelajaran mesin.
Penyedia Eksekusi QNN Qualcomm
Penyedia Eksekusi QNN Qualcomm adalah penyedia eksekusi (EP) untuk ONNX Runtime (dan skenario ML Windows yang menggunakan ONNX Runtime) yang memungkinkan eksekusi yang dipercepat perangkat keras pada chipset Qualcomm. Ini menggunakan Qualcomm AI Engine Direct SDK (QNN SDK) untuk membangun grafik QNN dari model ONNX, yang kemudian dijalankan oleh pustaka backend akselerator yang didukung.
Penyedia Eksekusi AMD Vitis AI
Penyedia Eksekusi AMD Vitis AI adalah penyedia eksekusi yang digunakan dengan ONNX Runtime / Windows ML yang memungkinkan inferensi AI yang dipercepat perangkat keras pada platform AMD. Dalam kata-kata microsoft yang diterbitkan, Vitis AI adalah tumpukan pengembangan AMD untuk inferensi AI yang dipercepat perangkat keras, dan menargetkan platform AMD termasuk Ryzen AI, SoC AMD yang Dapat Disesuaikan, dan Kartu Akselerasi Pusat Data Alveo.
