В тази статия
Какво е доставчик на изпълнение?
Компонентите на AI на доставчика на изпълнение са компоненти на ИИ на Windows, използвани на copilot+ компютри, за да се даде възможност за хардуерно ускорено изпълнение на модели за машинно обучение. Тези компоненти действат като слой за абстрактно хардуерно разполагане между моделите на ИИ и базовите изчислителни системи , като например ЦП, графични процесори и NP, което позволява на Windows и приложенията да изпълняват работни натоварвания с ИИ ефективно на най-добрия наличен хардуер.
Доставчикът на изпълнение е модулен компонент, който се интегрира с ONNX Runtime, за да предоставя специфични за хардуера оптимизации за извод за ИИ. Доставчиците на изпълнение обработват задачи като разделяне на graph, избор на ядро и изпълнение на оператор, като същевременно абстрактно абстрактират сложността на специфичните за доставчика библиотеки за ускоряване. Този проект позволява един ИИ модел да се изпълнява в различни хардуерни конфигурации, без да се изискват промени на ниво приложение.
На компютри Copilot+ AI компонентите на доставчика на изпълнение поддържат множество хардуерни платформи и доставчици на силициеви чипове. Примерите включват доставчици на изпълнение, оптимизирани за хардуер Intel, AMD, Qualcomm и NVIDIA, всеки от които позволява на моделите на AI да се възползват от специализирани ускорители, като например NPUs или GSU, когато са налични. Когато хардуерното ускорение не се поддържа за определено работно натоварване, изпълнението автоматично се връща към съвместим сървър за компютри, като гарантира надеждност и широка съвместимост на устройството.
Компонентите на AI на доставчика на изпълнение са основополагаща част от платформата на Windows AI. Те се използват от функциите на Windows, работата с Copilot+ и приложенията за разработчици, които разчитат на местно ИИ подсказка. Чрез динамичното избиране и управление на доставчиците на изпълнение Windows може да осигури ниска производителност на забавянето, подобрена енергийна ефективност и съгласувано поведение на ИИ в различни конфигурации на устройството.
Доставчик на изпълнение на MIGraphX
Доставчикът на изпълнение на MIGraphX е доставчик на AMD изпълнение, използван с ONNX Runtime/Машинно обучение на Windows за предоставяне на хардуерно ускорено извеждане чрез прехвърляне на поддържани операции за МОДЕЛ ONNX към AMD графични процесори. Тя се основава на графската система на MIGraphX на AMD, която ускорява подразбиране на модел за машинно обучение и позволява специфични за хардуера оптимизации, когато се изпълняват ONNX модели на хардуер на AMD GPU.
Доставчик на изпълнение на NVIDIA TensorRT-RTX
Доставчикът на изпълнение на TensorRT-RTX на NVIDIA е доставчик на ONNX Runtime/Windows доставчик на машинно обучение, проектиран специално за ускоряване на извода за МОДЕЛ ONNX на NVIDIA RTX GSU за сценарии, базирани на клиента (компютър на краен потребител). Той използва TensorRT на NVIDIA за изпълнение на RTX, за да генерира и изпълнява оптимизирани за RTX системи за извеждане на локалния графичен процесор, което позволява на Windows и приложенията да се възползват от хардуерното ускорение на RTX.
Intel OpenVINO Execution Provider
Доставчикът на Intel OpenVINO Execution е доставчик на изпълнение, използван с ONNX Runtime/машинно обучение на Windows, за да се разреши хардуерно ускорено извеждане на платформи на Intel. Това ускорява моделите ONNX на процесори Intel, графични процесори и NPUs, което позволява на Windows и приложения да се възползват от хардуерните оптимизации на Intel за работни натоварвания с машинно обучение.
Доставчик на изпълнение на QNN на Qualcomm
Доставчикът на изпълнение QNN на Qualcomm е доставчик на изпълнение за ONNX Runtime (и сценарии за машинно обучение на Windows, които използват ONNX Runtime), който позволява ускорено от хардуера изпълнение на чипсети Qualcomm. Той използва Qualcomm AI Engine Direct SDK (QNN SDK), за да създаде графика QNN от ONNX модел, която след това се изпълнява от поддържана библиотека на ускорителя.
Доставчик на AI изпълнение на AMD Vitis
Доставчикът на AI изпълнение на AMD Vitis е доставчик на изпълнение, използван с ONNX Runtime/машинно обучение на Windows, който позволява хардуерно ускорено ИИ по подразбиране на AMD платформи. Vitis AI е стек за разработка на AMD за резултат от хардуерно ускорения ИИ и е насочен към AMD платформи, включително Ryzen AI, AMD адаптивни socs и карти за ускорение на центъра за данни на Alveo.
