应用对象
Windows 11 version 26H1, all editions Windows 11 version 25H2, all editions Windows 11 version 24H2, all editions

​​​​​​​本文内容

什么是执行提供程序?

执行提供程序 AI 组件是在 Copilot+ 电脑上使用的 Windows AI 组件,用于实现机器学习模型的硬件加速执行。 这些组件充当 AI 模型与基础计算引擎(如 CPU、GPU 和 NPU)之间的硬件抽象层,使 Windows 和应用程序能够在最佳可用硬件上高效运行 AI 工作负载。

执行提供程序 (EP) 是一个模块化组件,它与 ONNX 运行时集成,为 AI 推理提供特定于硬件的优化。 执行提供程序处理图形分区、内核选择和运算符执行等任务,同时抽象化特定于供应商的加速库的复杂性。 此设计使单个 AI 模型能够在不同的硬件配置中运行,而无需更改应用程序级别。

在 Copilot+ 电脑上,执行提供程序 AI 组件支持多个硬件平台和芯片供应商。 示例包括针对 Intel、AMD、Qualcomm 和 NVIDIA 硬件优化的执行提供程序,每个提供程序使 AI 模型能够利用专用加速器(如 NPU 或 GPU)(如果可用)。 当给定工作负荷不支持硬件加速时,执行会自动回退到兼容的计算后端,从而确保可靠性和广泛的设备兼容性。

执行提供程序 AI 组件是 Windows AI 平台的基础部分。 它们由依赖于本地 AI 推理的 Windows 功能、Copilot+ 体验和开发人员应用程序使用。 通过动态选择和管理执行提供程序,Windows 可以跨不同设备配置提供低延迟性能、提高能效和一致的 AI 行为。

返回页首

MIGraphX 执行提供程序

MIGraphX 执行提供程序是 AMD 执行提供程序, (EP) 与 ONNX 运行时/Windows 机器学习 (ML) 配合使用,通过将受支持的 ONNX 模型作卸载到 AMD GPU 来提供硬件加速推理。 它基于 AMD 的 MIGraphX 图形推理引擎,该引擎可加速机器学习模型推理,并在 AMD GPU 硬件上运行 ONNX 模型时启用特定于硬件的优化。

返回页首

NVIDIA TensorRT-RTX 执行提供程序

NVIDIA TensorRT-RTX 执行提供程序是一种 ONNX 运行时/Windows ML 执行提供程序, (EP) 专门用于加速 NVIDIA RTX GPU 上的 ONNX 模型推理,以客户端为中心的 (最终用户电脑) 方案。 它利用 NVIDIA 的 TensorRT for RTX 运行时在本地 GPU 上生成和运行 RTX 优化的推理引擎,使 Windows 和应用能够利用 RTX 硬件加速。

返回页首

Intel OpenVINO 执行提供程序

Intel OpenVINO 执行提供程序是一种执行提供程序, (EP) 与 ONNX 运行时/Windows ML 配合使用,用于在 Intel 平台上启用硬件加速推理。 它加速 Intel CPU、GPU 和 NPU 上的 ONNX 模型,使 Windows 和应用程序能够利用 Intel 硬件优化来处理机器学习工作负载。

返回页首

Qualcomm QNN 执行提供程序

Qualcomm QNN 执行提供程序是一种执行提供程序, (EP) ,适用于 ONNX 运行时 (和 Windows ML 方案,这些方案使用 ONNX 运行时) 在 Qualcomm 芯片集上实现硬件加速执行。 它使用 Qualcomm AI Engine Direct SDK (QNN SDK) 从 ONNX 模型构造 QNN 图,然后由支持的加速器后端库执行。

返回页首

AMD Vitis AI 执行提供程序

AMD Vitis AI 执行提供程序是用于 ONNX 运行时/Windows ML 的执行提供程序,可在 AMD 平台上启用硬件加速 AI 推理。 在Microsoft发布的措辞中,Vitis AI 是 AMD 用于硬件加速 AI 推理的开发堆栈,它面向 AMD 平台,包括 Ryzen AI、AMD 自适应 SoC 和 Alveo 数据中心加速卡。

返回页首

需要更多帮助?

需要更多选项?

了解订阅权益、浏览培训课程、了解如何保护设备等。