W tym artykule
Co to jest dostawca wykonywania?
Składniki AI dostawcy wykonywania to składniki AI systemu Windows używane na komputerach z rozwiązaniaMi Copilot+, aby umożliwić sprzętowe wykonywanie modeli uczenia maszynowego. Te składniki działają jako warstwa abstrakcji sprzętu między modelami AI a podstawowymi aparatami obliczeniowymi — takimi jak procesory, procesory graficzne i npU — umożliwiając systemowi Windows i aplikacjom wydajne uruchamianie obciążeń AI na najlepszym dostępnym sprzęcie.
Dostawca wykonywania (EP) to modułowy składnik, który integruje się z onnx runtime, aby dostarczać optymalizacje specyficzne dla sprzętu dla wnioskowania AI. Dostawcy wykonywania obsługują zadania, takie jak partycjonowanie wykresu, wybieranie jądra i wykonywanie operatorów, a jednocześnie abstrakcji złożoności bibliotek przyspieszenia specyficznych dla dostawcy. Ten projekt umożliwia uruchamianie pojedynczego modelu AI w różnych konfiguracjach sprzętu bez konieczności zmiany na poziomie aplikacji.
Na komputerach Copilot+ składniki AI dostawcy wykonywania obsługują wiele platform sprzętowych i dostawców układów krzemowych. Przykładami są dostawcy wykonywania zoptymalizowani pod kątem sprzętu Intel, AMD, Qualcomm i NVIDIA, z których każdy umożliwia modelom AI korzystanie z specjalistycznych akceleratorów, takich jak NPU lub GPU, jeśli są dostępne. Jeśli przyspieszenie sprzętowe nie jest obsługiwane dla danego obciążenia pracą, wykonanie automatycznie wraca do zgodnego zaplecza obliczeniowego, zapewniając niezawodność i szeroką zgodność urządzeń.
Składniki AI dostawcy wykonywania są podstawową częścią platformy AI systemu Windows. Są one używane przez funkcje systemu Windows, rozwiązania Copilot+ i aplikacje deweloperskie korzystające z lokalnego wnioskowanie OI. Dzięki dynamicznemu wybieraniu dostawców wykonywania i zarządzaniu nimi system Windows może zapewniać wydajność z małym opóźnieniem, zwiększoną wydajność zasilania i spójne zachowanie SI w różnych konfiguracjach urządzeń.
Dostawca wykonywania funkcji MIGraphX
Dostawca wykonywania MIGraphX jest dostawcą wykonywania AMD (EP) używanym z onnx runtime / uczeniem maszynowym systemu Windows (ML) w celu dostarczania przyspieszonego sprzętu wnioskowania poprzez odciążenie obsługiwanych operacji modelu ONNX do procesorów AMD. Jest on oparty na aferencie wykresu MIGraphX firmy AMD, który przyspiesza wnioskowanie o modelu uczenia maszynowego i umożliwia optymalizacje specyficzne dla sprzętu podczas uruchamiania modeli ONNX na sprzęcie PROCESORA GRAFICZNEGO AMD.
Dostawca wykonywania nvidia TensorRT-RTX
Dostawca wykonywania NVIDIA TensorRT-RTX jest dostawcą wykonawczego ONNX Runtime / Windows ML (EP) zaprojektowanym specjalnie w celu przyspieszenia wnioskowania o modelu ONNX na procesorach GRAFICZNYCH NVIDIA RTX w scenariuszach opartych na kliencie (komputerach użytkowników końcowych). Wykorzystuje tensorRT firmy NVIDIA do czasu wykonywania RTX, aby generować i uruchamiać zoptymalizowane pod kątem RTX aparaty wnioskowania na lokalnej karcie graficznej, umożliwiając systemowi Windows i aplikacjom korzystanie z przyspieszenia sprzętowego RTX.
Dostawca wykonywania Intel OpenVINO
Dostawca wykonywania Intel OpenVINO jest dostawcą wykonywania (EP) używanym z ONNX Runtime / Windows ML w celu umożliwienia wnioskowanie przyspieszonego sprzętowo na platformach Intel. Przyspiesza ono działanie modeli ONNX na procesorach Intel, procesorach GPU i NPU, umożliwiając systemowi Windows i aplikacjom korzystanie z optymalizacji sprzętu Intel dla obciążeń związanych z uczeniem maszynowym.
Dostawca wykonywania Qualcomm QNN
Qualcomm QNN Execution Provider to dostawca wykonywania (EP) dla onnx runtime (i scenariuszy Windows ML, które używają ONNX Runtime), który umożliwia sprzętowe przyspieszanie wykonywania na mikroukładach Qualcomm. Konstruuje wykres QNN z modelu ONNX za pomocą zestawu SDK Qualcomm AI Engine Direct SDK (QNN SDK), który jest następnie wykonywany przez obsługiwaną bibliotekę zaplecza akceleratora.
AMD Vitis AI Execution Provider
AmD Vitis AI Execution Provider jest dostawcą wykonywania używanym z ONNX Runtime / Windows ML, który umożliwia wnioskowanie sprzętowo przyspieszonej SI na platformach AMD. W opublikowanych przez Microsoft sformułowaniach, Vitis AI jest stos rozwoju AMD dla sprzętowo przyspieszonego wnioskowania AI, i jest skierowany do platform AMD, w tym Ryzen AI, AMD Adaptable SoCs i Alveo Data Center Acceleration Cards.
