Σε αυτό το άρθρο
Τι είναι μια υπηρεσία παροχής εκτέλεσης;
Τα στοιχεία AI της υπηρεσίας παροχής εκτέλεσης είναι στοιχεία AI των Windows που χρησιμοποιούνται σε υπολογιστές Copilot+ για την ενεργοποίηση της εκτέλεσης μοντέλων μηχανικής εκμάθησης με επιτάχυνση υλικού. Αυτά τα στοιχεία λειτουργούν ως το επίπεδο αφαίρεσης υλικού μεταξύ των μοντέλων AI και των υποκείμενων μηχανών υπολογιστή —όπως CSU, GSU και NSU— επιτρέποντας στα Windows και τις εφαρμογές να εκτελούν αποτελεσματικά φόρτους εργασίας AI στο βέλτιστο διαθέσιμο υλικό.
Μια υπηρεσία παροχής εκτέλεσης (EP) είναι ένα αρθρωτό στοιχείο που ενοποιείται με το ONNX Runtime για την παροχή βελτιστοποιήσεων ειδικά για το υλικό για την ανίχνευση τεχνητής νοημοσύνης. Οι υπηρεσίες παροχής εκτέλεσης χειρίζονται εργασίες όπως η δημιουργία διαμερισμάτων γραφήματος, η επιλογή πυρήνα και η εκτέλεση τελεστών, αφαιρώντας παράλληλα την πολυπλοκότητα των βιβλιοθηκών επιτάχυνσης ειδικά για τους προμηθευτές. Αυτή η σχεδίαση επιτρέπει σε ένα μεμονωμένο μοντέλο τεχνητής νοημοσύνης να εκτελείται σε διάφορες ρυθμίσεις παραμέτρων υλικού χωρίς να απαιτούνται αλλαγές σε επίπεδο εφαρμογής.
Στους υπολογιστές Copilot+, τα στοιχεία AI της υπηρεσίας παροχής εκτέλεσης υποστηρίζουν πολλές πλατφόρμες υλικού και προμηθευτές υλικού. Παραδείγματα περιλαμβάνουν υπηρεσίες παροχής εκτέλεσης που έχουν βελτιστοποιηθεί για υλικό Intel, AMD, Qualcomm και NVIDIA, ενώ το καθένα επιτρέπει στα μοντέλα AI να αξιοποιούν εξειδικευμένους επιταχυντές, όπως NSU ή GPO, όταν διατίθενται. Όταν η επιτάχυνση υλικού δεν υποστηρίζεται για συγκεκριμένο φόρτο εργασίας, η εκτέλεση επιστρέφει αυτόματα σε ένα συμβατό σύστημα υποστήριξης υπολογιστών, εξασφαλίζοντας την αξιοπιστία και την ευρεία συμβατότητα της συσκευής.
Τα στοιχεία AI της υπηρεσίας παροχής εκτέλεσης αποτελούν θεμελιώδες μέρος της πλατφόρμας AI των Windows. Χρησιμοποιούνται από δυνατότητες των Windows, εμπειρίες Copilot+ και εφαρμογές προγραμματιστών που βασίζονται σε τοπικά συμπεράνματα τεχνητής νοημοσύνης. Επιλέγοντας και διαχειρίζοντας δυναμικά υπηρεσίες παροχής εκτέλεσης, τα Windows μπορούν να προσφέρουν χαμηλές επιδόσεις λανθάνοντα χρόνου, βελτιωμένη απόδοση ισχύος και συνεπή συμπεριφορά τεχνητής νοημοσύνης σε διαφορετικές ρυθμίσεις παραμέτρων συσκευής.
Υπηρεσία παροχής εκτέλεσης MIGraphX
Η υπηρεσία παροχής εκτέλεσης MIGraphX είναι μια υπηρεσία παροχής εκτέλεσης AMD (EP) που χρησιμοποιείται με ONNX Runtime / Windows machine-learning (ML) για την παροχή συμπεράνσεων με επιτάχυνση υλικού μέσω της εκφόρτωσης υποστηριζόμενων λειτουργιών μοντέλου ONNX σε GPO AMD. Βασίζεται στον μηχανισμό ανίχνευσης γραφημάτων MIGraphX της AMD, ο οποίος επιταχύνει την ανίχνευση μοντέλων εκμάθησης μηχανής και επιτρέπει βελτιστοποιήσεις ειδικά για το υλικό κατά την εκτέλεση μοντέλων ONNX σε υλικό GPU AMD.
Υπηρεσία παροχής εκτέλεσης NVIDIA TensorRT-RTX
Η υπηρεσία παροχής εκτέλεσης NVIDIA TensorRT-RTX είναι μια υπηρεσία παροχής εκτέλεσης ONNX Runtime / Windows ML (EP) που έχει σχεδιαστεί ειδικά για την επιτάχυνση της ανίχνευσης μοντέλου ONNX σε GKU NVIDIA RTX για σενάρια πελατών (υπολογιστή τελικού χρήστη). Αξιοποιεί το TensorRT της NVIDIA για το χρόνο εκτέλεσης RTX για τη δημιουργία και τη λειτουργία μηχανισμών ανίχνευσης βελτιστοποιημένων για RTX στην τοπική GPU, επιτρέποντας στα Windows και τις εφαρμογές να επωφεληθούν από την επιτάχυνση υλικού RTX.
Υπηρεσία παροχής εκτέλεσης Intel OpenVINO
Η υπηρεσία παροχής εκτέλεσης Intel OpenVINO είναι μια υπηρεσία παροχής εκτέλεσης (EP) που χρησιμοποιείται με το ONNX Runtime / Windows ML για την ενεργοποίηση συμπεράνων με επιτάχυνση υλικού σε πλατφόρμες Intel. Επιταχύνει τα μοντέλα ONNX σε CSU, GPO και NSU της Intel, επιτρέποντας στα Windows και τις εφαρμογές να επωφεληθούν από τις βελτιστοποιήσεις υλικού Intel για φόρτους εργασίας μηχανικής εκμάθησης.
Υπηρεσία παροχής εκτέλεσης QNN της Qualcomm
Η υπηρεσία παροχής εκτέλεσης QNN της Qualcomm είναι μια υπηρεσία παροχής εκτέλεσης (EP) για το ONNX Runtime (και σενάρια Windows ML που χρησιμοποιούν ONNX Runtime) που επιτρέπει την εκτέλεση μέσω υλικού σε chipset Qualcomm. Χρησιμοποιεί το SDK Qualcomm AI Engine Direct (QNN SDK) για να κατασκευάσει ένα γράφημα QNN από ένα μοντέλο ONNX, το οποίο στη συνέχεια εκτελείται από μια υποστηριζόμενη βιβλιοθήκη παρασκηνίων επιταχυντή.
AMD Vitis AI Execution Provider
Η υπηρεσία παροχής εκτέλεσης AI AMD Vitis είναι μια υπηρεσία παροχής εκτέλεσης που χρησιμοποιείται με ONNX Runtime / Windows ML που επιτρέπει την ανίχνευση τεχνητής νοημοσύνης με επιτάχυνση υλικού σε πλατφόρμες AMD. Στη δημοσιευμένη διατύπωση της Microsoft, το Vitis AI είναι η στοίβα ανάπτυξης της AMD για ανίχνευση τεχνητής νοημοσύνης με επιτάχυνση υλικού και στοχεύει σε πλατφόρμες AMD, όπως οι κάρτες επιτάχυνσης Ryzen AI, AMD Adaptable SoCs και Alveo Data Center.
