تتيح لك الرؤية في Microsoft Copilot مشاركة شاشة سطح المكتب أو كاميرا الهاتف المحمول وسؤال Copilot عما تراه، مع إجابات مستندة إلى كل من المحتوى المشترك وبيانات العمل الخاصة بك. لبدء استخدامه، راجع بدء استخدام الرؤية في Microsoft Copilot.
كيف تعمل الرؤية؟
يحول الرؤية ما تشاركه إلى معلومات يمكن ل Copilot تسليط عقلها، ثم يدمجها مع بيانات عملك للرد عليك بصوت عال.
- يمكنك مشاركة الإدخال المرئي أثناء محادثة صوتية: شاشة سطح المكتب (على Windows أو الويب) أو كاميرا هاتفك الجوال.
- يحول Copilot الشاشة المشتركة أو محتوى الكاميرا إلى بيانات يمكنه تحليلها، بما في ذلك النص والصور والمخططات والواجهات التي تظهر على الشاشة.
- يبني Copilot استجابته من خلال دمج ما يراه مع بيانات عمل Microsoft 365، مثل المستندات ورسائل البريد الإلكتروني والمناقشات السابقة.
- يجيب Copilot بالصوت في الوقت الفعلي، حتى تتمكن من طرح أسئلة المتابعة في نفس المحادثة.
ما الذي يمكن أن تفعله الرؤية؟
فيما يلي بعض الأشياء الأكثر فائدة التي يمكنك القيام بها باستخدام الرؤية:
- قم بتحليل وشرح ما تنظر إليه. اطلب من Copilot تفسير المخططات أو الجداول أو الشرائح أو النص الكثيف. على سبيل المثال، "تلخيص لوحة المعلومات هذه وتمييز أي حالات شاذة."
- تحويل الملاحظات إلى الخطوات التالية. شارك صفحة من مستند أو بريد إلكتروني أو دردشة واسأل، "ما هي الملاحظات التي تلقيتها بشأن هذا، وما خطواتي التالية؟"
- الحصول على تحديث حالة المشروع. شارك متعقب أو عنصر عمل واطلب من، "أعطني حالة سريعة لهذا العنصر والمالك الحالي والحدث الرئيسي التالي".
- الحصول على تعليمات في السياق خطوة بخطوة. وجه كاميرا هاتفك إلى خطأ الجهاز واسأل، "كيف أعمل إصلاح هذا الخطأ؟"
ما هي قيود الرؤية؟
- تتوفر الرؤية فقط من خلال الدردشات الصوتية مع Copilot في الوقت الحالي.
- يعتمد الاستخدام اليومي على السعة المتوفرة ويتم احتسابه ضمن استخدامك اليومي للصوت. سيتم إعلامك في تطبيق Copilot عند الاقتراب من استخدامك المتوفر.
- يتعذر على Vision قراءة مقاطع الفيديو أو صور GIF المتحركة.
- قد يؤدي التبديل بين النوافذ بسرعة كبيرة أثناء طرح سؤال إلى استجابة Copilot استنادا إلى محتوى الشاشة الخاطئ.
- لا يمكن للرؤية اتخاذ أي إجراء أو التعامل مباشرة مع العناصر الموجودة على الشاشة.
- الرؤية ليس لها استدعاء طويل الأجل. لا يعيد استخدام الشاشات أو إدخال الكاميرا من جلسات العمل السابقة.
ملاحظة
هذه هي القدرات عند التشغيل. قد تعالج التحسينات المستمرة بعض هذه القيود مع مرور الوقت.
ما الذي يمكن للرؤية الوصول إليه؟
أثناء جلسة عمل نشطة، يعالج Copilot الشاشة أو محتوى الكاميرا الذي تختار مشاركته، جنبا إلى جنب مع بيانات عمل Microsoft 365 الخاصة بك لتأسيس إجاباتها، مثل المستندات ورسائل البريد الإلكتروني والاجتماعات والمناقشات السابقة.
- يتم بدء الإدخال المرئي بواسطة المستخدم والالتزام بالجلسة، لذلك يعمل Copilot فقط مع المحتوى الذي تمت مشاركته أثناء جلسة العمل النشطة.
- تتم معالجة محتوى الشاشة أو الكاميرا المشتركة كسلسلة من الصور. يتم تخزين بيانات الصوت والفيديو مؤقتا لتقديم ملاحظات إلى Microsoft ويتم حذفها بعد 48 ساعة.
- يتم تخزين النسخ النصية من المحادثات الصوتية وإدارتها بنفس طريقة المحادثات النصية في تطبيق Microsoft Copilot.
- تلتزم الرؤية بالتزامات Microsoft على مستوى المؤسسات المتعلقة بأمان البيانات والخصوصية، ولا تستنتج سمات شخصية حساسة مثل العرق أو العاطفة.
لمزيد من المعلومات، راجع البيانات والخصوصية والأمان ل Microsoft Copilot.
ما أنواع المحتويات المدعومة؟
يمكن أن يفهم الرؤية مجموعة من المحتوى الذي يظهر على الشاشة والمحتوى الحقيقي، بما في ذلك:
- النص والصور والمخططات والجداول ولوحات المعلومات.
- واجهات التطبيقات ومهام سير العمل متعددة النوافذ على سطح المكتب.
- الكائنات الفعلية التي يتم عرضها من خلال كاميرا هاتفك المحمول.
ما هي اللغات المدعومة؟
تتوفر الرؤية بجميع اللغات التي يدعمها Microsoft Copilot. قد تكون بعض اللغات أكثر عرضة للاختلافات في النطق أو التعرف. للحصول على القائمة الكاملة، راجع اللغات المدعومة ل Microsoft Copilot.
كيف تم تقييم محادثات الرؤية؟ ما هي المقاييس المستخدمة لقياس الأداء؟
لضمان الجودة، يتم طرح أسئلة اختبار على Copilot، ويتم تقييم ردودها استنادا إلى معايير مثل الصلة والصحة والاكتمال والأسلوب والالتزام بالتعليمات. لقياس الأداء بشكل أفضل، نراجع أيضا استخدام الميزات، ومعدل الإبهام لأعلى، ومعدل المشاركة، وملاحظات المستخدمين. نجري أيضا مجموعة واسعة من تقييمات السلامة التي تضمن استجابة الرؤية بطريقة مسؤولة للاستفسارات الضارة.
كيف أعمل تقديم ملاحظات حول الرؤية في Copilot؟
يمكنك تقديم الملاحظات بمجرد إنهاء الدردشة الصوتية. يجب أن ترى إبهام لأعلى/لأسفل يظهر في محفوظات الدردشة التي تتم مشاركتها مع Microsoft لتحسين الميزات. لا نستخدم هذه الملاحظات لتدريب نماذج الأساس المستخدمة من قبل Copilot.