ในบทความนี้
ผู้ให้บริการการดําเนินการคืออะไร
คอมโพเนนต์ Execution Provider AI คือคอมโพเนนต์ Windows AI ที่ใช้กับพีซี Copilot+ เพื่อเปิดใช้งานการดําเนินการที่เร่งด้วยฮาร์ดแวร์ของโมเดลแมชชีนเลิร์นนิ่ง คอมโพเนนต์เหล่านี้ทําหน้าที่เป็นเลเยอร์นามแฝงฮาร์ดแวร์ระหว่างโมเดล AI และเอ็นจินการประมวลผลพื้นฐาน เช่น CPU, GPU และ NPU ซึ่งช่วยให้ Windows และแอปพลิเคชันสามารถเรียกใช้ปริมาณงาน AI ได้อย่างมีประสิทธิภาพบนฮาร์ดแวร์ที่ดีที่สุดที่พร้อมใช้งาน
ผู้ให้บริการการดําเนินการ (EP) เป็นคอมโพเนนต์แบบโมดูลาร์ที่รวมเข้ากับ ONNX Runtime เพื่อมอบการปรับให้เหมาะสมเฉพาะฮาร์ดแวร์สําหรับการอนุมาน AI ตัวให้บริการการดําเนินการจะจัดการงาน เช่น การแบ่งพาร์ติชันกราฟ การเลือกเคอร์เนล และการดําเนินการของตัวดําเนินการ พร้อมกับที่เป็นการแสดงความซับซ้อนของไลบรารีการเร่งความเร็วเฉพาะของผู้จัดจําหน่าย การออกแบบนี้ช่วยให้โมเดล AI เดียวสามารถทํางานข้ามการกําหนดค่าฮาร์ดแวร์ที่หลากหลายได้โดยไม่ต้องมีการเปลี่ยนแปลงระดับแอปพลิเคชัน
บนพีซี Copilot+ คอมโพเนนต์ AI ของผู้ให้บริการการดําเนินการสนับสนุนแพลตฟอร์มฮาร์ดแวร์และผู้จําหน่ายซิลิคอนหลายราย ตัวอย่างเช่น ผู้ให้บริการการดําเนินการที่ปรับให้เหมาะสมกับฮาร์ดแวร์ Intel, AMD, Qualcomm และ NVIDIA แต่ละรุ่นที่เปิดใช้งานโมเดล AI เพื่อใช้ประโยชน์จากตัวเร่งพิเศษ เช่น NPU หรือ GPU เมื่อพร้อมใช้งาน เมื่อการเร่งฮาร์ดแวร์ไม่ได้รับการสนับสนุนสําหรับปริมาณงานที่กําหนด การดําเนินการจะย้อนกลับไปยัง Backend การประมวลผลที่เข้ากันได้โดยอัตโนมัติ เพื่อให้มั่นใจได้ถึงความน่าเชื่อถือและความเข้ากันได้ของอุปกรณ์ในวงกว้าง
คอมโพเนนต์ AI ของผู้ให้บริการการดําเนินการเป็นส่วนพื้นฐานของแพลตฟอร์ม Windows AI คุณลักษณะเหล่านี้จะถูกใช้งานโดยคุณลักษณะของ Windows ประสบการณ์ Copilot+ และแอปพลิเคชันสําหรับนักพัฒนาที่พึ่งพาการอนุมาน AI ภายในเครื่อง ด้วยการเลือกและจัดการผู้ให้บริการการดําเนินการแบบไดนามิก Windows สามารถเพิ่มประสิทธิภาพเวลาแฝงต่ํา ปรับปรุงประสิทธิภาพการใช้พลังงาน และลักษณะการทํางานของ AI ที่สอดคล้องกันในการกําหนดค่าอุปกรณ์ต่างๆ
ผู้ให้บริการการดําเนินการ MIGraphX
ผู้ให้บริการการดําเนินการ MIGraphX คือผู้ให้บริการการดําเนินการ AMD (EP) ที่ใช้กับ ONNX Runtime / Windows machine-learning (ML) เพื่อส่งมอบการอนุมานที่เร่งฮาร์ดแวร์โดยการถ่ายการดําเนินการโมเดล ONNX ที่รองรับไปยัง AMD GSU โดยยึดตามกลไกการอนุมานกราฟ MIGraphX ของ AMD ซึ่งช่วยเร่งการอนุมานโมเดลการเรียนรู้ของเครื่องและเปิดใช้งานการเพิ่มประสิทธิภาพเฉพาะฮาร์ดแวร์เมื่อเรียกใช้โมเดล ONNX บนฮาร์ดแวร์ AMD GPU
ผู้ให้บริการการดําเนินการ NVIDIA TensorRT-RTX
ผู้ให้บริการการดําเนินการ NVIDIA TensorRT-RTX คือผู้ให้บริการการดําเนินการ ONNX Runtime / Windows ML (EP) ที่ออกแบบมาเพื่อเร่งการอนุมานโมเดล ONNX ใน GPU ของ NVIDIA RTX สําหรับสถานการณ์ไคลเอ็นต์เป็นศูนย์กลาง (พีซีของผู้ใช้ปลายทาง) โดยใช้ประโยชน์จาก TensorRT ของ NVIDIA สําหรับรันไทม์ RTX เพื่อสร้างและเรียกใช้เอ็นจินการอนุมานที่ปรับให้เหมาะสมกับ RTX ใน GPU ภายใน ทําให้ Windows และแอปสามารถใช้ประโยชน์จากการเร่งฮาร์ดแวร์ RTX ได้
ผู้ให้บริการการดําเนินการ Intel OpenVINO
Intel OpenVINO Execution Provider คือผู้ให้บริการการดําเนินการ (EP) ที่ใช้กับ ONNX Runtime / Windows ML เพื่อเปิดใช้งานการอนุมานที่เร่งด้วยฮาร์ดแวร์บนแพลตฟอร์ม Intel โดยจะเร่งโมเดล ONNX บน CPU, GPU และ NPU ของ Intel ทําให้ Windows และแอปพลิเคชันสามารถใช้ประโยชน์จากการปรับฮาร์ดแวร์ของ Intel ให้เหมาะสมที่สุดสําหรับปริมาณงานการเรียนรู้ของเครื่อง
ผู้ให้บริการการดําเนินการ Qualcomm QNN
ผู้ให้บริการการดําเนินการ Qualcomm QNN เป็นผู้ให้บริการการดําเนินการ (EP) สําหรับสถานการณ์ ONNX Runtime (และ Windows ML ที่ใช้ ONNX Runtime) ที่เปิดใช้งานการดําเนินการที่เร่งด้วยฮาร์ดแวร์บนชิปเซ็ต Qualcomm ซึ่งใช้ Qualcomm AI Engine Direct SDK (QNN SDK) เพื่อสร้างกราฟ QNN จากโมเดล ONNX ซึ่งดําเนินการโดยไลบรารี Backend ของตัวเร่งที่สนับสนุน
ผู้ให้บริการการดําเนินการ AMD Vitis AI
AMD Vitis AI Execution Provider คือผู้ให้บริการการดําเนินการที่ใช้กับ ONNX Runtime / Windows ML ซึ่งช่วยให้มีการอนุมาน AI แบบเร่งฮาร์ดแวร์บนแพลตฟอร์ม AMD ในคําที่เผยแพร่ของ Microsoft Vitis AI คือสแตกการพัฒนาของ AMD สําหรับการอนุมาน AI ที่เร่งฮาร์ดแวร์ และกําหนดเป้าหมายแพลตฟอร์ม AMD รวมถึง Ryzen AI, AMD Adaptable SoCs และการ์ดเร่งความเร็ว Alveo Data Center
