В этой статье
Что такое поставщик выполнения?
Компоненты ИИ поставщика выполнения — это компоненты ИИ Windows, используемые на компьютерах Copilot+ для обеспечения аппаратного ускорения выполнения моделей машинного обучения. Эти компоненты выступают в качестве уровня абстракции оборудования между моделями ИИ и базовыми вычислительными подсистемами, такими как ЦП, GPU и NPU, что позволяет Windows и приложениям эффективно запускать рабочие нагрузки ИИ на лучшем доступном оборудовании.
Поставщик выполнения (EP) — это модульный компонент, который интегрируется со средой выполнения ONNX для предоставления аппаратных оптимизаций для вывода ИИ. Поставщики выполнения обрабатывают такие задачи, как секционирование графов, выбор ядра и выполнение операторов, абстрагируя сложность библиотек ускорения, зависящих от поставщика. Такая схема позволяет использовать единую модель ИИ для работы в различных конфигурациях оборудования без внесения изменений на уровне приложения.
На компьютерах Copilot+ компоненты ИИ поставщика выполнения поддерживают несколько аппаратных платформ и поставщиков кремния. Примеры включают поставщиков выполнения, оптимизированных для оборудования Intel, AMD, Qualcomm и NVIDIA, каждый из которых позволяет моделям ИИ использовать преимущества специализированных акселераторов, таких как NPu или GPU, если они доступны. Если аппаратное ускорение не поддерживается для данной рабочей нагрузки, выполнение автоматически возвращается к совместимой серверной части вычислений, обеспечивая надежность и широкую совместимость устройств.
Компоненты ИИ поставщика выполнения являются базовой частью платформы ИИ Windows. Они используются функциями Windows, интерфейсом Copilot+ и приложениями разработчиков, которые используют локальный вывод ИИ. Динамически выбирая поставщиков выполнения и управляя ими, Windows может обеспечить низкую задержку, повысить эффективность энергопотребления и согласованное поведение ИИ в разных конфигурациях устройств.
Поставщик выполнения MIGraphX
Поставщик выполнения MIGraphX — это поставщик выполнения AMD (EP), используемый с ONNX Runtime или машинным обучением Windows (ML) для предоставления аппаратного ускорения вывода путем разгрузки поддерживаемых операций модели ONNX в графические процессоры AMD. Он основан на подсистеме вывода графов MIGraphX ОТ AMD, которая ускоряет вывод модели машинного обучения и обеспечивает оптимизацию для конкретного оборудования при запуске моделей ONNX на оборудовании AMD GPU.
Поставщик выполнения NVIDIA TensorRT-RTX
Поставщик выполнения NVIDIA TensorRT-RTX — это поставщик выполнения ONNX runtime/Windows ML (EP), разработанный специально для ускорения вывода модели ONNX на GPU NVIDIA RTX для клиентских сценариев (конечных пользователей). Он использует среду выполнения TensorRT for RTX от NVIDIA для создания и запуска оптимизированных для RTX обработчиков вывода на локальном GPU, что позволяет Windows и приложениям воспользоваться преимуществами аппаратного ускорения RTX.
Поставщик выполнения Intel OpenVINO
Поставщик выполнения Intel OpenVINO — это поставщик выполнения (EP), используемый со средой выполнения ONNX и Машинным обучением Windows для обеспечения аппаратного ускорения вывода на платформах Intel. Он ускоряет модели ONNX на ЦП, GPU и NPU Intel, позволяя Windows и приложениям использовать преимущества оптимизации оборудования Intel для рабочих нагрузок машинного обучения.
Поставщик выполнения QNN Для Qualcomm
Поставщик выполнения QNN Qualcomm — это поставщик выполнения (EP) для среды выполнения ONNX (и сценариев Windows ML, использующих среду выполнения ONNX), который обеспечивает аппаратное ускорение выполнения на микросхемах Qualcomm. Для создания графа QNN на основе модели ONNX используется пакет SDK для Qualcomm AI Engine Direct (пакет SDK для QNN), который затем выполняется поддерживаемой серверной библиотекой акселератора.
Поставщик выполнения ИИ AMD Vitis
Поставщик выполнения ИИ AMD Vitis — это поставщик выполнения, используемый с ONNX Runtime / Windows ML, который обеспечивает аппаратное ускорение вывода ИИ на платформах AMD. В опубликованной корпорацией Майкрософт формулировке Vitis AI — это стек разработки AMD для вывода искусственного интеллекта с аппаратным ускорением, и он предназначен для платформ AMD, включая Ryzen AI, Адаптируемые soCs AMD и карты ускорения Alveo Data Center.
