이 문서의 내용
실행 공급자란?
실행 공급자 AI 구성 요소는 기계 학습 모델의 하드웨어 가속 실행을 가능하게 하기 위해 Copilot+ PC에서 사용되는 Windows AI 구성 요소입니다. 이러한 구성 요소는 AI 모델과 CPU, GPU 및 NPU와 같은 기본 컴퓨팅 엔진 간의 하드웨어 추상화 계층 역할을 하므로 Windows 및 애플리케이션이 사용 가능한 최상의 하드웨어에서 AI 워크로드를 효율적으로 실행할 수 있습니다.
EP(실행 공급자)는 ONNX 런타임과 통합되어 AI 유추를 위한 하드웨어별 최적화를 제공하는 모듈식 구성 요소입니다. 실행 공급자는 공급업체별 가속 라이브러리의 복잡성을 추상화하면서 그래프 분할, 커널 선택 및 연산자 실행과 같은 작업을 처리합니다. 이 디자인을 사용하면 애플리케이션 수준 변경 없이도 다양한 하드웨어 구성에서 단일 AI 모델을 실행할 수 있습니다.
Copilot+ PC에서 실행 공급자 AI 구성 요소는 여러 하드웨어 플랫폼 및 실리콘 공급업체를 지원합니다. 예를 들어 Intel, AMD, Qualcomm 및 NVIDIA 하드웨어에 최적화된 실행 공급자가 있으며, 각각 AI 모델이 사용 가능한 경우 NPU 또는 GPU와 같은 특수 가속기를 활용할 수 있도록 합니다. 지정된 워크로드에 대해 하드웨어 가속이 지원되지 않는 경우 실행은 자동으로 호환되는 컴퓨팅 백 엔드로 대체되어 안정성과 광범위한 디바이스 호환성을 보장합니다.
실행 공급자 AI 구성 요소는 Windows AI 플랫폼의 기본 부분입니다. Windows 기능, Copilot+ 환경 및 로컬 AI 유추를 사용하는 개발자 애플리케이션에서 사용됩니다. 실행 공급자를 동적으로 선택하고 관리함으로써 Windows는 대기 시간이 짧은 성능, 향상된 전원 효율성 및 다양한 디바이스 구성에서 일관된 AI 동작을 제공할 수 있습니다.
MIGraphX 실행 공급자
MIGraphX 실행 공급자는 지원되는 ONNX 모델 작업을 AMD GPU로 오프로드하여 하드웨어 가속 유추를 제공하기 위해 ONNX 런타임/Windows ML(Machine-Learning)과 함께 사용되는 AMD EP(실행 공급자)입니다. AMD GPU 하드웨어에서 ONNX 모델을 실행할 때 기계 학습 모델 유추를 가속화하고 하드웨어별 최적화를 가능하게 하는 AMD의 MIGraphX 그래프 유추 엔진을 기반으로 합니다.
NVIDIA TensorRT-RTX 실행 공급자
NVIDIA TensorRT-RTX 실행 공급자는 클라이언트 중심(최종 사용자 PC) 시나리오를 위해 NVIDIA RTX GPU에서 ONNX 모델 유추를 가속화하도록 특별히 설계된 ONNX 런타임/WINDOWS ML 실행 공급자(EP)입니다. NVIDIA의 RTX 런타임용 TensorRT를 활용하여 로컬 GPU에서 RTX 최적화 유추 엔진을 생성하고 실행하여 Windows 및 앱이 RTX 하드웨어 가속을 활용할 수 있도록 합니다.
Intel OpenVINO 실행 공급자
Intel OpenVINO 실행 공급자는 INTEL 플랫폼에서 하드웨어 가속 유추를 사용하도록 설정하기 위해 ONNX 런타임/Windows ML과 함께 사용되는 EP(실행 공급자)입니다. Intel CPU, GPU 및 NPU의 ONNX 모델을 가속화하여 Windows 및 애플리케이션이 기계 학습 워크로드에 대한 Intel 하드웨어 최적화를 활용할 수 있도록 합니다.
Qualcomm QNN 실행 공급자
Qualcomm QNN 실행 공급자는 Qualcomm 칩셋에서 하드웨어 가속 실행을 가능하게 하는 ONNX 런타임(및 ONNX 런타임을 사용하는 Windows ML 시나리오)용 EP(실행 공급자)입니다. Qualcomm AI Engine Direct SDK(QNN SDK)를 사용하여 ONNX 모델에서 QNN 그래프를 생성한 다음 지원되는 가속기 백 엔드 라이브러리에서 실행됩니다.
AMD Vitis AI 실행 공급자
AMD Vitis AI 실행 공급자는 AMD 플랫폼에서 하드웨어 가속 AI 유추를 가능하게 하는 ONNX 런타임/Windows ML과 함께 사용되는 실행 공급자입니다. Microsoft의 게시된 문구에서 Vitis AI는 하드웨어 가속 AI 유추를 위한 AMD의 개발 스택이며 Ryzen AI, AMD 적응 가능한 SOC 및 Alveo Data Center 가속 카드를 포함한 AMD 플랫폼을 대상으로 합니다.
