У цій статті
Що таке постачальник послуг виконання?
Компоненти AI постачальника виконання – це компоненти AI Windows, які використовуються на ПК Copilot+ для забезпечення апаратного прискорення виконання моделей машинного навчання. Ці компоненти діють як шар абстракції обладнання між моделями AI та базовими обчислювальними двигунами, наприклад ЦП, графічні процесори та NPUs, що дає змогу Windows і програмам ефективно запускати навантаження на ШІ на найкращому доступному обладнанні.
Постачальник виконання (EP) – це модульний компонент, який інтегрується з середовищем виконання ONNX, щоб забезпечити апаратні оптимізації для висновку AI. Постачальники виконання обробляють такі завдання, як розподілення графіків, вибір ядра та виконання операторів, а також абстрагування складності бібліотек прискорення конкретних постачальників. Ця конструкція дає змогу працювати з однією моделлю AI в різних конфігураціях обладнання, не вимагаючи змін на рівні програми.
На ПК Copilot+ постачальник послуг виконання AI підтримує кілька апаратних платформ і постачальників кремнію. Наприклад, постачальники послуг виконання, оптимізовані для апаратного забезпечення Intel, AMD, Qualcomm і NVIDIA, що дає змогу моделям штучного інтелекту використовувати спеціальні прискорювачі, як-от NPUs або графічні процесори, коли вони доступні. Якщо апаратне прискорення не підтримується для певного навантаження, виконання автоматично повертається до сумісного комп'ютерного сервера, забезпечуючи надійність і сумісність широкого пристрою.
Компоненти AI постачальника виконання є основою платформи Windows AI. Вони використовуються функціями Windows, copilot+ і програмами для розробників, які залежать від локального висновку AI. Динамічно вибираючи та керуючи постачальниками виконання, Windows може забезпечити низьку затримку продуктивності, підвищити ефективність живлення та узгоджену поведінку AI в різних конфігураціях пристроїв.
Постачальник виконання MIGraphX
Постачальник виконання MIGraphX – це постачальник виконання AMD (EP), який використовується з середовищем виконання ONNX або комп'ютерним навчанням Windows (ML), щоб забезпечити апаратне прискорення шляхом розвантаження підтримуваних операцій моделі ONNX для графічних процесорів AMD. Він базується на обробнику висновків MIGraphX від AMD, який прискорює припущення моделі машинного навчання та забезпечує апаратні оптимізації під час запуску моделей ONNX на обладнанні графічного процесора AMD.
Постачальник виконання NVIDIA TensorRT-RTX
Постачальник виконання NVIDIA TensorRT-RTX – це постачальник середовища виконання ONNX або Windows ML( EP), розроблений спеціально для прискорення припущення моделі ONNX на графічних об'єктах NVIDIA RTX для сценаріїв, орієнтованих на клієнт -centric (комп'ютер кінцевого користувача). Він використовує функцію NVIDIA TensorRT для середовища виконання RTX, щоб створювати та запускати обробники оптимізованих RTX на локальному графічному процесорі, що дає змогу Windows і програмам скористатися апаратним прискоренням RTX.
Постачальник виконання Intel OpenVINO
Постачальник виконання Intel OpenVINO – це постачальник послуг виконання (EP), який використовується з середовищем виконання ONNX або Windows ML для ввімкнення апаратно-прискореного висновку на платформах Intel. Він прискорює моделі ONNX на процесорах Intel, графічних процесорах і NPUs, що дозволяє Windows і програмам використовувати апаратні оптимізації Intel для апаратного навчання завантажень.
Постачальник виконання Qualcomm QNN
Постачальник виконання Qualcomm QNN – це постачальник послуг виконання (EP) для середовища виконання ONNX (і сценаріїв Windows ML, які використовують середовище виконання ONNX), який забезпечує апаратне прискорення виконання на мікросхемах Qualcomm. Він використовує прямий SDK-код обробника AI Qualcomm (QNN SDK) для побудови графіка QNN з моделі ONNX, яка потім виконується підтримуваною бібліотекою серверних прискорювачів.
Постачальник виконання AI AMD Vitis
Постачальник виконання AI AMD Vitis – це постачальник послуг виконання, що використовується з середовищем виконання ONNX або Windows ML, який забезпечує апаратне прискорення AI-висновку на платформах AMD. В опублікованих корпорацією Майкрософт словах Vitis AI – це стек розробки AMD для апаратно-прискореного висновку AI, і він націлений на платформи AMD, зокрема Ryzen AI, AMD Adaptable SoCs і картки прискорення Центру обробки даних Alveo.
