In diesem Artikel
Was ist ein Ausführungsanbieter?
Ki-Komponenten des Ausführungsanbieters sind Windows-KI-Komponenten, die auf Copilot+-PCs verwendet werden, um die hardwarebeschleunigte Ausführung von Machine Learning-Modellen zu ermöglichen. Diese Komponenten fungieren als Hardware-Abstraktionsebene zwischen KI-Modellen und den zugrunde liegenden Compute-Engines (z. B. CPUs, GPUs und NPUs), sodass Windows und Anwendungen KI-Workloads effizient auf der besten verfügbaren Hardware ausführen können.
Ein Ausführungsanbieter ist eine modulare Komponente, die in die ONNX-Runtime integriert wird, um hardwarespezifische Optimierungen für KI-Rückschlüsse bereitzustellen. Ausführungsanbieter übernehmen Aufgaben wie Graphpartitionierung, Kernelauswahl und Operatorausführung und abstrahieren gleichzeitig die Komplexität von anbieterspezifischen Beschleunigungsbibliotheken. Dieses Design ermöglicht die Ausführung eines einzelnen KI-Modells in verschiedenen Hardwarekonfigurationen, ohne dass Änderungen auf Anwendungsebene erforderlich sind.
Auf Copilot+-PCs unterstützen KI-Komponenten des Ausführungsanbieters mehrere Hardwareplattformen und Siliziumanbieter. Beispiele hierfür sind Ausführungsanbieter, die für Intel-, AMD-, Qualcomm- und NVIDIA-Hardware optimiert sind, die jeweils KI-Modelle ermöglichen, spezielle Beschleuniger wie NPUs oder GPUs zu nutzen, sofern verfügbar. Wenn die Hardwarebeschleunigung für eine bestimmte Workload nicht unterstützt wird, greift die Ausführung automatisch auf ein kompatibles Compute-Back-End zurück, um Zuverlässigkeit und umfassende Gerätekompatibilität sicherzustellen.
Ki-Komponenten des Ausführungsanbieters sind ein grundlegender Bestandteil der Windows KI-Plattform. Sie werden von Windows-Features, Copilot+-Umgebungen und Entwickleranwendungen verwendet, die auf lokalen KI-Rückschlüssen basieren. Durch die dynamische Auswahl und Verwaltung von Ausführungsanbietern kann Windows eine geringe Latenzleistung, eine verbesserte Energieeffizienz und ein konsistentes KI-Verhalten für verschiedene Gerätekonfigurationen bereitstellen.
MIGraphX-Ausführungsanbieter
Der MIGraphX-Ausführungsanbieter ist ein AMD-Ausführungsanbieter, der mit ONNX Runtime/Windows Machine Learning verwendet wird, um hardwarebeschleunigte Rückschlüsse zu liefern, indem unterstützte ONNX-Modellvorgänge auf AMD-GPUs ausgelagert werden. Es basiert auf der MIGraphX-Graphenrückschluss-Engine von AMD, die den Rückschluss von Machine Learning-Modellen beschleunigt und hardwarespezifische Optimierungen ermöglicht, wenn ONNX-Modelle auf AMD GPU-Hardware ausgeführt werden.
NVIDIA TensorRT-RTX-Ausführungsanbieter
Der NVIDIA TensorRT-RTX-Ausführungsanbieter ist ein ONNX Runtime-/Windows-Machine-Learning-Ausführungsanbieter, der speziell entwickelt wurde, um den RÜCKSCHLUSS von ONNX-Modellen auf NVIDIA RTX-GPUs für clientzentrierte Szenarien (Endbenutzer-PC) zu beschleunigen. Es nutzt die TensorRT für RTX-Runtime von NVIDIA, um RTX-optimierte Rückschluss-Engines auf der lokalen GPU zu generieren und auszuführen, sodass Windows und Apps die RTX-Hardwarebeschleunigung nutzen können.
Intel OpenVINO-Ausführungsanbieter
Der Intel OpenVINO-Ausführungsanbieter ist ein Ausführungsanbieter, der mit ONNX Runtime/Windows Machine Learning verwendet wird, um hardwarebeschleunigte Rückschlüsse auf Intel-Plattformen zu ermöglichen. Es beschleunigt ONNX-Modelle auf Intel-CPUs, GPUs und NPUs, sodass Windows und Anwendungen die Vorteile von Intel-Hardwareoptimierungen für Machine Learning-Workloads nutzen können.
Qualcomm QNN-Ausführungsanbieter
Der Qualcomm QNN-Ausführungsanbieter ist ein Ausführungsanbieter für ONNX Runtime (und Windows Machine Learning-Szenarien, die ONNX Runtime verwenden), der eine hardwarebeschleunigte Ausführung auf Qualcomm-Chipsätzen ermöglicht. Es verwendet das Qualcomm AI Engine Direct SDK (QNN SDK), um einen QNN-Graphen aus einem ONNX-Modell zu erstellen, der dann von einer unterstützten Accelerator-Back-End-Bibliothek ausgeführt wird.
AMD Vitis AI Execution Provider
Der AMD Vitis AI Execution Provider ist ein Ausführungsanbieter, der mit ONNX Runtime/ Windows Machine Learning verwendet wird und hardwarebeschleunigte KI-Rückschlüsse auf AMD-Plattformen ermöglicht. Vitis AI ist der Entwicklungsstapel von AMD für hardwarebeschleunigte KI-Rückschlüsse und zielt auf AMD-Plattformen wie Ryzen KI, AMD Adaptable SoCs und Alveo Data Center Acceleration Cards ab.
