Artikkelin sisältö
Mikä on suorituspalvelu?
Suorituspalvelun AI-komponentit ovat Windows AI -osia, joita käytetään Copilot+ -tietokoneissa koneoppimismallien laitteistokiihdytettyjen suoritusten mahdollistamiseksi. Nämä komponentit toimivat tekoälymallien ja pohjana olevien laskentamoottoreiden (kuten suoritinten, ryhmäkäytäntöobjektien ja NPU:iden) laitteiston abstraktiokerroksena, jonka avulla Windows ja sovellukset voivat suorittaa tekoälykuormia tehokkaasti parhaalla käytettävissä olevalla laitteistolla.
Suorituspalvelu on modulaarinen komponentti, joka integroituu ONNX Runtimen kanssa toimittaakseen laitteistokohtaisia optimointeja tekoälyn päättelyä varten. Suorituspalvelun tarjoajat käsittelevät tehtäviä, kuten kaavion osioinnin, ytimen valinnan ja operaattorin suorittamisen, samalla kun ne käsittelevät toimittajakohtaisten kiihdytyskirjastojen monimutkaisuutta. Tämä rakenne mahdollistaa yksittäisen tekoälymallin suorittamisen erilaisissa laitteistokokoonpanoissa ilman sovellustason muutoksia.
Copilot+ -tietokoneissa suorituspalvelun AI-komponentit tukevat useita laitteistoympäristöjä ja piitoimittajia. Esimerkkejä ovat Intel-, AMD-, Qualcomm- ja NVIDIA-laitteistoille optimoidut suorituspalvelun tarjoajat, jotka mahdollistavat tekoälymallien hyödyntämisen erikoiskiihdyttimiä, kuten NPU:t tai GPU:t, kun niitä on saatavilla. Kun laitteistokiihdytystä ei tueta tietylle työmäärälle, suoritus palautuu automaattisesti yhteensopivaksi laskutettavaksi taustaksi, mikä takaa luotettavuuden ja laajan laiteyhteensopivuuden.
Suorituspalvelun AI-komponentit ovat perustava osa Windowsin tekoälyympäristöä. Niitä käyttävät Windowsin ominaisuudet, Copilot+ -käyttökokemukset ja kehittäjäsovellukset, jotka käyttävät paikallista tekoälyn päätettävyyttä. Valitsemalla ja hallitsemalla suorituspalveluntarjoajia dynaamisesti Windows voi tuottaa viiveen vähäistä suorituskykyä, parempaa tehoa ja yhdenmukaisen tekoälyn toiminnan eri laitekokoonpanoissa.
MIGraphX-suorituspalvelu
MIGraphX-suorituspalvelu on AMD-suorituspalvelu, jota käytetään ONNX Runtimen / Windowsin koneoppimisen kanssa laitteistokiihdytettyjen päätelmien toimittamiseen siirtämällä tuetut ONNX-mallitoiminnot AMD-grafiikkasuoritteisiin. Se perustuu AMD:n MIGraphX-kaavion päättelymoduuliin, joka nopeuttaa koneoppimismallin päättelyä ja mahdollistaa laitteistokohtaiset optimoinnit, kun ONNX-malleja suoritetaan AMD-grafiikkasuorittimen laitteistossa.
NVIDIA TensorRT-RTX Execution Provider
NVIDIA TensorRT-RTX Execution Provider on ONNX Runtime / Windowsin koneoppimisen suorituspalvelu, joka on suunniteltu erityisesti nopeuttamaan ONNX-mallien päättetelyä NVIDIA RTX -gpU:issa asiakaskeskeisten (loppukäyttäjätietokoneiden) skenaarioiden osalta. Se hyödyntää NVIDIA:n TensorRT for RTX runtime -toimintoa RTX-optimoidun inferenssimoottorin luomiseen ja suorittamiseen paikallisessa grafiikkasuorittimessa, jolloin Windows ja sovellukset voivat hyödyntää RTX-laitteistokiihdytystä.
Intel OpenVINO -suorituspalvelu
Intel OpenVINO Execution Provider on suorituspalvelu, jota käytetään ONNX Runtimen / Windowsin koneoppimisen kanssa laitteistokiihdytettyjen päättelyjen mahdollistamiseksi Intel-alustoilla. Se nopeuttaa ONNX-malleja Intelin suorittimien, ryhmäkäytäntöobjektien ja NPU:iden kanssa, jolloin Windows ja sovellukset voivat hyödyntää Intelin laitteiston optimointeja koneoppimistyökuormia varten.
Qualcomm QNN Execution Provider
Qualcommin QNN-suorituspalvelu on ONNX Runtimen (ja ONNX Runtimea käyttävien Windowsin koneoppimisskenaarioiden) suorituspalvelu, joka mahdollistaa laitteistokiihdytyksen Qualcomm-piirisarjoissa. Se käyttää Qualcomm AI Engine Direct SDK (QNN SDK) -kaaviota QNN-kaavion rakentamiseen ONNX-mallista, jonka sitten suorittaa tuettu kiihdyttimen taustakirjasto.
AMD Vitis AI Execution Provider
AMD Vitis AI Execution Provider on suorituspalvelu, jota käytetään ONNX Runtimen / Windowsin koneoppimisen kanssa ja joka mahdollistaa laitteistokiihdytetyt AI-päätelmät AMD-ympäristöissä. Vitis AI on AMD:n kehityspino laitteistokiihdyteisille tekoälyn päätelmille, ja sen kohteena ovat AMD-alustat, kuten Ryzen AI, AMD Adaptable SoCs ja Alveo Data Center Acceleration Cards.
