חזון ב- Microsoft Copilot מאפשר לך לשתף את מסך שולחן העבודה או את המצלמה הניידת ולשאול את Copilot על מה שאתה רואה, עם תשובות שמבוססות הן על התוכן המשותף והן על נתוני העבודה שלך. כדי להתחיל להשתמש בו, ראה תחילת העבודה עם חזון ב- Microsoft Copilot.
כיצד פועלת הראייה?
החזון הופך את מה שאתה משתף למידע ש- Copilot יכול לנמק אותו ולאחר מכן משלב אותו עם נתוני העבודה שלך כדי לענות לך בקול רם.
- אתה משתף קלט חזותי במהלך שיחה קולית: במסך שולחן העבודה (ב- Windows או באינטרנט) או במצלמה הניידת שלך.
- Copilot ממיר את המסך או את תוכן המצלמה המשותפים לנתונים שהוא יכול לנתח, כולל טקסט, תמונות, תרשימים וממשקים על המסך.
- Copilot מבסס את התגובה שלו על-ידי שילוב של מה שהוא רואה עם נתוני העבודה שלך ב- Microsoft 365, כגון מסמכים, הודעות דואר אלקטרוני ודיונים קודמים.
- Copilot עונה בקול בזמן אמת, כך שתוכל לשאול שאלות המשך טיפול באותה שיחה.
מה הראייה יכולה לעשות?
הנה כמה מהדברים השימושיים ביותר שתוכל לעשות עם ראייה:
- נתח והסביר על מה אתה מסתכל. בקש מ- Copilot לפרש תרשימים, טבלאות, שקופיות או טקסט צפוף. לדוגמה, "סכם לוח מחוונים זה וסמן חריגות".
- הפוך משוב לשלבים הבאים. שתף דף של מסמך, דואר אלקטרוני או צ'אט ושאל "איזה משוב קיבלתי על זה, ומה יהיו הצעדים הבאים שלי?"
- קבלת עדכון מצב פרוייקט. שתף מעקב או פריט עבודה ושאל "תן לי מצב מהיר של פריט זה, הבעלים הנוכחי ואבן הדרך הבאה".
- קבל עזרה בהקשר, שלב אחר שלב. כוון את מצלמת הטלפון אל שגיאת מכשיר ושאל "כיצד ניתן לבצע תיקון שגיאה זו?"
מהן מגבלות הראייה?
- Vision זמין רק באמצעות צ'אטים קוליים עם Copilot כרגע.
- השימוש היומי מבוסס על הקיבולת הזמינה ונספר בשימוש היומי שלך בקול. תקבל הודעה באפליקציית Copilot כאשר תתקרב לשימוש הזמין שלך.
- ל- Vision אין אפשרות לקרוא סרטוני וידאו או קבצי GIF מונפשים.
- מעבר בין חלונות מהר מדי בעת הצגת שאלה עלול לגרום ל- Copilot להגיב בהתבסס על תוכן שגוי של המסך.
- הראייה לא יכולה לבצע פעולה או לטפל ישירות בפריטים על המסך.
- לחזון אין זיכרון לטווח ארוך. הוא אינו עושה שימוש חוזר במסכים או בקלט מצלמה מהפעלות קודמות.
הערה
אלה היכולות בעת ההשקה. שיפורים מתמשכים עשויים לטפל בחלק מהמגבלות האלה לאורך זמן.
למה יש לחזון גישה?
במהלך הפעלה פעילה, Copilot מעבד את תוכן המסך או המצלמה שאתה בוחר לשתף, יחד עם נתוני העבודה שלך ב- Microsoft 365 כדי לבסס את התשובות שלו, כגון מסמכים, הודעות דואר אלקטרוני, פגישות ודיונים קודמים.
- קלט חזותי מופעל על-ידי המשתמש וקשור להפעלה, כך ש- Copilot פועל רק עם תוכן ששותף במהלך ההפעלה הפעילה.
- תוכן של מסך או מצלמה משותף מעובד כסדרת תמונות. נתוני וידאו ושמע מאוחסנים באופן זמני כדי לספק משוב ל- Microsoft, והם נמחקים לאחר 48 שעות.
- תעתיקי טקסט משיחות קוליות מאוחסנים ומנוהלים באותו אופן כמו שיחות טקסט באפליקציית Microsoft Copilot.
- Vision מצייתת למחויבויות של Microsoft ברמה הארגונית לאבטחת נתונים ולפרטיות, והיא לא מסיקה תכונות אישיות רגישות כמו גזע או רגש.
לקבלת מידע נוסף, ראה נתונים, פרטיות ואבטחה עבור Microsoft Copilot.
אילו סוגי תוכן נתמכים?
Vision יכול להבין מגוון של תוכן על המסך והעולם האמיתי, כולל:
- טקסט, תמונות, תרשימים, טבלאות ולוחות מחוונים.
- ממשקי אפליקציות וזרימות עבודה מרובות חלונות בשולחן העבודה.
- אובייקטים פיזיים המוצגים דרך המצלמה הניידת שלך.
אילו שפות נתמכות?
Vision זמין בכל השפות הנתמכות על-ידי Microsoft Copilot. שפות מסוימות עשויות להיות מועדות יותר להבדלי הגייה או זיהוי. לקבלת הרשימה המלאה, ראה שפות נתמכות עבור Microsoft Copilot.
כיצד הוערכו שיחות חזון? אילו מדדים משמשים למדידת ביצועים?
כדי להבטיח איכות, Copilot מקבל שאלות בדיקה, והתגובות שלו מוערכות על בסיס קריטריונים כגון רלוונטיות, נכונות, שלמות, טון וציות להוראות. כדי למדוד טוב יותר את הביצועים, אנו בודקים גם את השימוש בתכונות, שיעור האגודל כלפי מעלה, שיעור המעורבות ומשוב המשתמשים. אנו גם מבצעים מגוון רחב של הערכות בטיחות המבטיחות שהראייה מגיבה בצורה אחראית לשאילתות מזיקות.
כיצד ניתן לבצע משוב על הראייה ב- Copilot?
תוכל לספק משוב לאחר שתסיים צ'אט קולי. אתה אמור לראות אגודל למעלה/למטה מופיע בהיסטוריית הצ'אט שלך, המשותפת עם Microsoft עבור שיפורי תכונות. איננו משתמשים במשוב זה כדי להכשיר את מודלי הבסיס המשמשים את Copilot.