В тази статия
Какво е доставчик на изпълнение?
Компонентите на AI на доставчика на изпълнение са компоненти на ИИ на Windows, използвани на copilot+ компютри, за да се даде възможност за хардуерно ускорено изпълнение на модели за машинно обучение. Тези компоненти действат като слой за абстрактно хардуерно разполагане между моделите на ИИ и базовите изчислителни системи , като например ЦП, графични процесори и NP, което позволява на Windows и приложенията да изпълняват работни натоварвания с ИИ ефективно на най-добрия наличен хардуер.
Доставчикът на изпълнение (EP) е модулен компонент, който се интегрира с ONNX Runtime, за да предоставя специфични за хардуера оптимизации за ИИ по подразбиране. Доставчиците на изпълнение обработват задачи като разделяне на graph, избор на ядро и изпълнение на оператор, като същевременно абстрактно абстрактират сложността на специфичните за доставчика библиотеки за ускоряване. Този проект позволява един ИИ модел да се изпълнява в различни хардуерни конфигурации, без да се изискват промени на ниво приложение.
На компютри Copilot+ AI компонентите на доставчика на изпълнение поддържат множество хардуерни платформи и доставчици на силициеви чипове. Примерите включват доставчици на изпълнение, оптимизирани за хардуер Intel, AMD, Qualcomm и NVIDIA, всеки от които позволява на моделите на AI да се възползват от специализирани ускорители, като например NPUs или GSU, когато са налични. Когато хардуерното ускорение не се поддържа за определено работно натоварване, изпълнението автоматично се връща към съвместим сървър за компютри, като гарантира надеждност и широка съвместимост на устройството.
Компонентите на AI на доставчика на изпълнение са основополагаща част от платформата на Windows AI. Те се използват от функциите на Windows, работата с Copilot+ и приложенията за разработчици, които разчитат на местно ИИ подсказка. Чрез динамичното избиране и управление на доставчиците на изпълнение Windows може да осигури ниска производителност на забавянето, подобрена енергийна ефективност и съгласувано поведение на ИИ в различни конфигурации на устройството.
Доставчик на изпълнение на MIGraphX
Доставчикът на изпълнение на MIGraphX е доставчик на изпълнение на AMD (EP), използван с ONNX Runtime/Windows machine-learning (ML), за да предостави хардуерно ускорено извеждане чрез разтоварване на поддържаните операции с ONNX модел към AMD графични процесори. Тя се основава на графската система на MIGraphX на AMD, която ускорява подразбиране на модел за машинно обучение и позволява специфични за хардуера оптимизации, когато се изпълняват ONNX модели на хардуер на AMD GPU.
Доставчик на изпълнение на NVIDIA TensorRT-RTX
Доставчикът на изпълнение на TensorRT-RTX на NVIDIA е доставчик на изпълнение ONNX Runtime/Windows ML (EP), проектиран специално за ускоряване на извода за модел ONNX на NVIDIA RTX GSU за сценарии, базирани на клиента (компютър на краен потребител). Той използва TensorRT на NVIDIA за изпълнение на RTX, за да генерира и изпълнява оптимизирани за RTX системи за извеждане на локалния графичен процесор, което позволява на Windows и приложенията да се възползват от хардуерното ускорение на RTX.
Intel OpenVINO Execution Provider
Доставчикът на Intel OpenVINO Execution е доставчик на изпълнение (EP), използван с ONNX Runtime/Windows ML, за да разреши хардуерно ускорено извеждане на платформи на Intel. Това ускорява моделите ONNX на процесори Intel, графични процесори и NPUs, което позволява на Windows и приложения да се възползват от хардуерните оптимизации на Intel за работни натоварвания с машинно обучение.
Доставчик на изпълнение на QNN на Qualcomm
Доставчикът на изпълнение QNN на Qualcomm е доставчик на изпълнение (EP) за ONNX Runtime (и сценарии на Windows ML, които използват ONNX Runtime), който позволява ускорено от хардуера изпълнение на чипсети Qualcomm. Той използва Qualcomm AI Engine Direct SDK (QNN SDK), за да създаде графика QNN от ONNX модел, която след това се изпълнява от поддържана библиотека на ускорителя.
Доставчик на AI изпълнение на AMD Vitis
Доставчикът на AI изпълнение на AMD Vitis е доставчик на изпълнение, използван с ONNX Runtime/Windows ML, който позволява хардуерно ускорено ИИ извод на AMD платформи. В публикувания текст на Microsoft AI на Vitis е групата за разработване на AMD за ИИ с хардуерно ускорено и е насочена към AMD платформи, включително Ryzen AI, AMD Adaptable SoCs и карти за ускоряване на центъра за данни на Alveo.
