本文内容
什么是执行提供程序?
执行提供程序 AI 组件是在 Copilot+ 电脑上使用的 Windows AI 组件,用于实现机器学习模型的硬件加速执行。 这些组件充当 AI 模型与基础计算引擎(如 CPU、GPU 和 NPU)之间的硬件抽象层,使 Windows 和应用程序能够在最佳可用硬件上高效运行 AI 工作负载。
执行提供程序 (EP) 是一个模块化组件,它与 ONNX 运行时集成,为 AI 推理提供特定于硬件的优化。 执行提供程序处理图形分区、内核选择和运算符执行等任务,同时抽象化特定于供应商的加速库的复杂性。 此设计使单个 AI 模型能够在不同的硬件配置中运行,而无需更改应用程序级别。
在 Copilot+ 电脑上,执行提供程序 AI 组件支持多个硬件平台和芯片供应商。 示例包括针对 Intel、AMD、Qualcomm 和 NVIDIA 硬件优化的执行提供程序,每个提供程序使 AI 模型能够利用专用加速器(如 NPU 或 GPU)(如果可用)。 当给定工作负荷不支持硬件加速时,执行会自动回退到兼容的计算后端,从而确保可靠性和广泛的设备兼容性。
执行提供程序 AI 组件是 Windows AI 平台的基础部分。 它们由依赖于本地 AI 推理的 Windows 功能、Copilot+ 体验和开发人员应用程序使用。 通过动态选择和管理执行提供程序,Windows 可以跨不同设备配置提供低延迟性能、提高能效和一致的 AI 行为。
MIGraphX 执行提供程序
MIGraphX 执行提供程序是 AMD 执行提供程序, (EP) 与 ONNX 运行时/Windows 机器学习 (ML) 配合使用,通过将受支持的 ONNX 模型作卸载到 AMD GPU 来提供硬件加速推理。 它基于 AMD 的 MIGraphX 图形推理引擎,该引擎可加速机器学习模型推理,并在 AMD GPU 硬件上运行 ONNX 模型时启用特定于硬件的优化。
NVIDIA TensorRT-RTX 执行提供程序
NVIDIA TensorRT-RTX 执行提供程序是一种 ONNX 运行时/Windows ML 执行提供程序, (EP) 专门用于加速 NVIDIA RTX GPU 上的 ONNX 模型推理,以客户端为中心的 (最终用户电脑) 方案。 它利用 NVIDIA 的 TensorRT for RTX 运行时在本地 GPU 上生成和运行 RTX 优化的推理引擎,使 Windows 和应用能够利用 RTX 硬件加速。
Intel OpenVINO 执行提供程序
Intel OpenVINO 执行提供程序是一种执行提供程序, (EP) 与 ONNX 运行时/Windows ML 配合使用,用于在 Intel 平台上启用硬件加速推理。 它加速 Intel CPU、GPU 和 NPU 上的 ONNX 模型,使 Windows 和应用程序能够利用 Intel 硬件优化来处理机器学习工作负载。
Qualcomm QNN 执行提供程序
Qualcomm QNN 执行提供程序是一种执行提供程序, (EP) ,适用于 ONNX 运行时 (和 Windows ML 方案,这些方案使用 ONNX 运行时) 在 Qualcomm 芯片集上实现硬件加速执行。 它使用 Qualcomm AI Engine Direct SDK (QNN SDK) 从 ONNX 模型构造 QNN 图,然后由支持的加速器后端库执行。
AMD Vitis AI 执行提供程序
AMD Vitis AI 执行提供程序是用于 ONNX 运行时/Windows ML 的执行提供程序,可在 AMD 平台上启用硬件加速 AI 推理。 在Microsoft发布的措辞中,Vitis AI 是 AMD 用于硬件加速 AI 推理的开发堆栈,它面向 AMD 平台,包括 Ryzen AI、AMD 自适应 SoC 和 Alveo 数据中心加速卡。