In diesem Artikel
Was ist ein Ausführungsanbieter?
Ki-Komponenten des Ausführungsanbieters sind Windows-KI-Komponenten, die auf Copilot+-PCs verwendet werden, um die hardwarebeschleunigte Ausführung von Machine Learning-Modellen zu ermöglichen. Diese Komponenten fungieren als Hardware-Abstraktionsebene zwischen KI-Modellen und den zugrunde liegenden Compute-Engines (z. B. CPUs, GPUs und NPUs), sodass Windows und Anwendungen KI-Workloads effizient auf der besten verfügbaren Hardware ausführen können.
Ein Ausführungsanbieter (Execution Provider, EP) ist eine modulare Komponente, die in die ONNX-Runtime integriert wird, um hardwarespezifische Optimierungen für KI-Rückschlüsse bereitzustellen. Ausführungsanbieter übernehmen Aufgaben wie Graphpartitionierung, Kernelauswahl und Operatorausführung und abstrahieren gleichzeitig die Komplexität von anbieterspezifischen Beschleunigungsbibliotheken. Dieses Design ermöglicht die Ausführung eines einzelnen KI-Modells in verschiedenen Hardwarekonfigurationen, ohne dass Änderungen auf Anwendungsebene erforderlich sind.
Auf Copilot+-PCs unterstützen KI-Komponenten des Ausführungsanbieters mehrere Hardwareplattformen und Siliziumanbieter. Beispiele hierfür sind Ausführungsanbieter, die für Intel-, AMD-, Qualcomm- und NVIDIA-Hardware optimiert sind, die jeweils KI-Modelle ermöglichen, spezielle Beschleuniger wie NPUs oder GPUs zu nutzen, sofern verfügbar. Wenn die Hardwarebeschleunigung für eine bestimmte Workload nicht unterstützt wird, greift die Ausführung automatisch auf ein kompatibles Compute-Back-End zurück, um Zuverlässigkeit und umfassende Gerätekompatibilität sicherzustellen.
Ki-Komponenten des Ausführungsanbieters sind ein grundlegender Bestandteil der Windows KI-Plattform. Sie werden von Windows-Features, Copilot+-Umgebungen und Entwickleranwendungen verwendet, die auf lokalen KI-Rückschlüssen basieren. Durch die dynamische Auswahl und Verwaltung von Ausführungsanbietern kann Windows eine geringe Latenzleistung, eine verbesserte Energieeffizienz und ein konsistentes KI-Verhalten für verschiedene Gerätekonfigurationen bereitstellen.
MIGraphX-Ausführungsanbieter
Der MIGraphX-Ausführungsanbieter ist ein AMD-Ausführungsanbieter (EP), der mit ONNX Runtime/Windows Machine Learning (ML) verwendet wird, um hardwarebeschleunigte Rückschlüsse zu ermöglichen, indem unterstützte ONNX-Modellvorgänge auf AMD-GPUs ausgelagert werden. Es basiert auf der MIGraphX-Graphenrückschluss-Engine von AMD, die den Rückschluss von Machine Learning-Modellen beschleunigt und hardwarespezifische Optimierungen ermöglicht, wenn ONNX-Modelle auf AMD GPU-Hardware ausgeführt werden.
NVIDIA TensorRT-RTX-Ausführungsanbieter
Der NVIDIA TensorRT-RTX-Ausführungsanbieter ist ein ONNX Runtime-/Windows ML-Ausführungsanbieter (EP), der speziell für die Beschleunigung des ONNX-Modellrückschlusses auf NVIDIA RTX-GPUs für clientzentrierte Szenarien (Endbenutzer-PC) entwickelt wurde. Es nutzt die TensorRT für RTX-Runtime von NVIDIA, um RTX-optimierte Rückschluss-Engines auf der lokalen GPU zu generieren und auszuführen, sodass Windows und Apps die RTX-Hardwarebeschleunigung nutzen können.
Intel OpenVINO-Ausführungsanbieter
Der Intel OpenVINO Execution Provider ist ein Ausführungsanbieter (EP), der mit ONNX Runtime/Windows ML verwendet wird, um hardwarebeschleunigte Rückschlüsse auf Intel-Plattformen zu ermöglichen. Es beschleunigt ONNX-Modelle auf Intel-CPUs, GPUs und NPUs, sodass Windows und Anwendungen die Vorteile von Intel-Hardwareoptimierungen für Machine Learning-Workloads nutzen können.
Qualcomm QNN-Ausführungsanbieter
Der Qualcomm QNN-Ausführungsanbieter ist ein Ausführungsanbieter (EP) für ONNX Runtime (und Windows ML-Szenarien, die ONNX Runtime verwenden), der eine hardwarebeschleunigte Ausführung auf Qualcomm-Chipsätzen ermöglicht. Es verwendet das Qualcomm AI Engine Direct SDK (QNN SDK), um einen QNN-Graphen aus einem ONNX-Modell zu erstellen, der dann von einer unterstützten Accelerator-Back-End-Bibliothek ausgeführt wird.
AMD Vitis AI Execution Provider
Der AMD Vitis AI Execution Provider ist ein Ausführungsanbieter, der mit ONNX Runtime/ Windows ML verwendet wird und hardwarebeschleunigte KI-Rückschlüsse auf AMD-Plattformen ermöglicht. In der von Microsoft veröffentlichten Formulierung ist Vitis AI der Entwicklungsstapel von AMD für hardwarebeschleunigte KI-Rückschlüsse und zielt auf AMD-Plattformen wie Ryzen KI, AMD Adaptable SoCs und Alveo Data Center Acceleration Cards ab.
