Bu makalede
Yürütme sağlayıcısı nedir?
Yürütme Sağlayıcısı yapay zeka bileşenleri, makine öğrenmesi modellerinin donanım hızlandırmalı yürütülmesini sağlamak için Copilot+ bilgisayarlarda kullanılan Windows AI bileşenleridir. Bu bileşenler, AI modelleri ile CPU'lar, GPU'lar ve NPU'lar gibi temel işlem altyapıları arasında donanım soyutlama katmanı olarak görev yaparak Windows'un ve uygulamaların yapay zeka iş yüklerini en iyi kullanılabilir donanımda verimli bir şekilde çalıştırmasını sağlar.
Yürütme sağlayıcısı (EP), yapay zeka çıkarımı için donanıma özgü iyileştirmeler sunmak üzere ONNX Çalışma Zamanı ile tümleşen modüler bir bileşendir. Yürütme sağlayıcıları graf bölümleme, çekirdek seçimi ve işleç yürütme gibi görevleri işlerken satıcıya özgü hızlandırma kitaplıklarının karmaşıklığını soyutlar. Bu tasarım, tek bir yapay zeka modelinin uygulama düzeyinde değişiklik gerektirmeden farklı donanım yapılandırmalarında çalışmasını sağlar.
Copilot+ bilgisayarlarda yürütme sağlayıcısı yapay zeka bileşenleri birden çok donanım platformlarını ve silikon satıcılarını destekler. Intel, AMD, Qualcomm ve NVIDIA donanımı için iyileştirilmiş yürütme sağlayıcıları, her biri yapay zeka modellerinin kullanılabilir olduğunda NPU'lar veya GPU'lar gibi özel hızlandırıcılardan yararlanmasını sağlayan yürütme sağlayıcıları verilebilir. Belirli bir iş yükü için donanım hızlandırma desteklenmediğinde, yürütme otomatik olarak uyumlu bir işlem arka ucuna geri döner ve güvenilirlik ve geniş cihaz uyumluluğu sağlar.
Yürütme Sağlayıcısı yapay zeka bileşenleri, Windows yapay zeka platformunun temel bir parçasıdır. Bunlar Windows özellikleri, Copilot+ deneyimleri ve yerel yapay zeka çıkarımına dayanan geliştirici uygulamaları tarafından kullanılır. Windows, yürütme sağlayıcılarını dinamik olarak seçip yöneterek farklı cihaz yapılandırmalarında düşük gecikme süresi performansı, geliştirilmiş güç verimliliği ve tutarlı yapay zeka davranışı sunabilir.
MIGraphX yürütme sağlayıcısı
MIGraphX yürütme sağlayıcısı, desteklenen ONNX model işlemlerini AMD GPU'larına yükleyerek donanım hızlandırmalı çıkarım sağlamak için ONNX Çalışma Zamanı / Windows makine öğrenmesi (ML) ile kullanılan bir AMD yürütme sağlayıcısıdır (EP). AMD'nin MIGraphX graf çıkarımı altyapısını temel alır. Bu motor, makine öğrenmesi modeli çıkarımını hızlandırır ve AMD GPU donanımında ONNX modellerini çalıştırırken donanıma özgü iyileştirmeler sağlar.
NVIDIA TensorRT-RTX Yürütme Sağlayıcısı
NVIDIA TensorRT-RTX Yürütme Sağlayıcısı, istemci merkezli (son kullanıcı bilgisayar) senaryoları için NVIDIA RTX GPU'larında ONNX model çıkarımını hızlandırmak için özel olarak tasarlanmış bir ONNX Çalışma Zamanı / Windows ML yürütme sağlayıcısıdır (EP). Yerel GPU'da RTX için iyileştirilmiş çıkarım altyapıları oluşturup çalıştırmak için NVIDIA'nın RTX için TensorRT çalışma zamanından yararlanarak Windows ve uygulamaların RTX donanım hızlandırmadan yararlanmasını sağlar.
Intel OpenVINO Yürütme Sağlayıcısı
Intel OpenVINO Yürütme Sağlayıcısı, Intel platformlarında donanım hızlandırmalı çıkarım sağlamak için ONNX Runtime / Windows ML ile kullanılan bir yürütme sağlayıcısıdır (EP). Intel CPU'lar, GPU'lar ve NPU'lar üzerindeki ONNX modellerini hızlandırarak Windows ve uygulamaların makine öğrenmesi iş yükleri için Intel donanım iyileştirmelerinden yararlanmasını sağlar.
Qualcomm QNN Yürütme Sağlayıcısı
Qualcomm QNN Yürütme Sağlayıcısı, Qualcomm yonga kümelerinde donanım hızlandırmalı yürütmeyi etkinleştiren ONNX Çalışma Zamanı (ve ONNX Çalışma Zamanı kullanan Windows ML senaryoları) için bir yürütme sağlayıcısıdır (EP). Qualcomm AI Engine Direct SDK'sını (QNN SDK) kullanarak bir ONNX modelinden QNN grafiği oluşturur ve bu grafik desteklenen bir hızlandırıcı arka uç kitaplığı tarafından yürütülür.
AMD Vitis AI Yürütme Sağlayıcısı
AMD Vitis AI Yürütme Sağlayıcısı, AMD platformlarında donanım hızlandırmalı yapay zeka çıkarımını sağlayan ONNX Runtime / Windows ML ile kullanılan bir yürütme sağlayıcısıdır. Microsoft'un yayımlanan ifadesinde Vitis AI, AMD'nin donanım hızlandırmalı yapay zeka çıkarımı için geliştirme yığınıdır ve Ryzen AI, AMD Uyarlanabilir SoC'ler ve Alveo Veri Merkezi Hızlandırma Kartları gibi AMD platformlarını hedefler.
