Trong bài viết này
Nhà cung cấp thực thi là gì?
Các cấu phần AI của Nhà cung cấp Thực thi là các cấu phần Windows AI được sử dụng trên PC Copilot+ để cho phép thực thi tăng tốc phần cứng của các mô hình máy học. Các cấu phần này đóng vai trò như lớp trừu tượng phần cứng giữa các mô hình AI và các công cụ điện toán cơ bản—chẳng hạn như CPU, GPU và NPI—cho phép Windows và các ứng dụng chạy khối lượng công việc AI hiệu quả trên phần cứng khả dụng tốt nhất.
Nhà cung cấp thực thi (EP) là một thành phần mô-đun tích hợp với ONNX Runtime để cung cấp tối ưu hóa dành riêng cho phần cứng cho suy luận AI. Nhà cung cấp thực thi xử lý các tác vụ như phân vùng đồ thị, lựa chọn nhân và thực thi toán tử, đồng thời ẩn đi sự phức tạp của thư viện tăng tốc dành riêng cho nhà cung cấp. Thiết kế này cho phép một mô hình AI duy nhất chạy trên các cấu hình phần cứng đa dạng mà không yêu cầu thay đổi cấp độ ứng dụng.
Trên PC chạy Copilot+, các cấu phần AI của nhà cung cấp thực thi hỗ trợ nhiều nền tảng phần cứng và nhà cung cấp silicon. Ví dụ bao gồm các nhà cung cấp thực thi được tối ưu hóa cho phần cứng Intel, AMD, Qualcomm và NVIDIA, mỗi mô hình đều cho phép các mô hình AI tận dụng các bộ tăng tốc chuyên dụng như NPI hoặc GPU khi có sẵn. Khi tăng tốc phần cứng không được hỗ trợ cho một khối lượng công việc nhất định, quá trình thực thi tự động quay lại phụ trợ tính toán tương thích, đảm bảo độ tin cậy và khả năng tương thích thiết bị rộng.
Các cấu phần AI của Nhà cung cấp Thực thi là một phần cơ bản của nền tảng Windows AI. Chúng được sử dụng bởi các tính năng của Windows, trải nghiệm Copilot+ và các ứng dụng dành cho nhà phát triển dựa trên suy luận AI cục bộ. Bằng cách tự động chọn và quản lý các nhà cung cấp thực thi, Windows có thể cung cấp hiệu suất độ trễ thấp, hiệu suất nguồn được cải thiện và hành vi AI nhất quán trên các cấu hình thiết bị khác nhau.
Nhà cung cấp thực thi MIGraphX
Nhà cung cấp thực thi MIGraphX là một nhà cung cấp thực thi AMD (EP) được sử dụng với ONNX Runtime / Windows machine-learning (ML) để cung cấp suy luận tăng tốc phần cứng bằng cách tải xuống các thao tác mô hình ONNX được hỗ trợ cho GPU AMD. Công cụ này dựa trên công cụ suy luận đồ thị MIGraphX của AMD, giúp tăng tốc suy luận mô hình máy học và cho phép tối ưu hóa đặc thù phần cứng khi chạy các mô hình ONNX trên phần cứng AMD GPU.
Nhà cung cấp Thực thi NVIDIA TensorRT-RTX
Nhà cung cấp Thực thi NVIDIA TensorRT-RTX là nhà cung cấp thực thi ONNX Runtime / Windows ML (EP) được thiết kế đặc biệt để tăng tốc suy luận mô hình ONNX trên GPU NVIDIA RTX cho các kịch bản tập trung vào máy khách (PC người dùng cuối). Ứng dụng này tận dụng TensorRT for RTX runtime của NVIDIA để tạo và chạy các công cụ suy luận tối ưu hóa RTX trên GPU cục bộ, cho phép Windows và các ứng dụng tận dụng tính năng tăng tốc phần cứng RTX.
Nhà cung cấp Thực thi Intel OpenVINO
Nhà cung cấp thực thi Intel OpenVINO là một nhà cung cấp thực thi (EP) được sử dụng với ONNX Runtime / Windows ML để cho phép suy luận tăng tốc phần cứng trên nền tảng Intel. Nó tăng tốc các mô hình ONNX trên CPU Intel, GPU và NPI, cho phép Windows và các ứng dụng tận dụng tối ưu hóa phần cứng Intel cho khối lượng công việc học máy.
Nhà cung cấp Thực thi QNN của Qualcomm
Nhà cung cấp Thực thi QNN của Qualcomm là một nhà cung cấp thực thi (EP) cho ONNX Runtime (và các trường hợp Windows ML sử dụng ONNX Runtime) cho phép thực thi tăng tốc phần cứng trên chipset Qualcomm. Nó sử dụng SDK Qualcomm AI Engine Direct (QNN SDK) để xây dựng một đồ thị QNN từ mô hình ONNX, sau đó được thực hiện bởi một thư viện phụ trợ bộ tăng tốc được hỗ trợ.
AMD Vitis AI Execution Provider
Nhà cung cấp thực thi AMD Vitis AI là nhà cung cấp thực thi được sử dụng với ONNX Runtime / Windows ML cho phép suy luận AI tăng tốc phần cứng trên nền tảng AMD. Trong wording được công bố của Microsoft, Vitis AI là ngăn xếp phát triển của AMD cho suy luận AI tăng tốc phần cứng và nhắm mục tiêu các nền tảng AMD bao gồm Ryzen AI, AMD Adaptable SoCs và Thẻ Tăng tốc Trung tâm Dữ liệu Alveo.
