Mit Vision in Microsoft 365 Copilot können Sie Ihren Desktopbildschirm oder Ihre mobile Kamera freigeben und Copilot fragen, was Sie sehen, wobei Antworten sowohl auf den freigegebenen Inhalt als auch auf Ihren Arbeitsdaten begründet sind. Informationen zur Verwendung finden Sie unter Erste Schritte mit vision in Microsoft 365 Copilot.
Wie funktioniert Vision?
Vision wandelt das, was Sie teilen, in Informationen um, die Copilot übergehen kann, und kombiniert es dann mit Ihren Arbeitsdaten, um Ihnen laut zu antworten.
- Sie teilen visuelle Eingaben während einer Sprachunterhaltung: Ihren Desktopbildschirm (unter Windows oder im Web) oder Ihre mobile Kamera.
- Copilot konvertiert den freigegebenen Bildschirm- oder Kamerainhalt in Daten, die analysiert werden können, einschließlich Text, Bilder, Diagrammen und Bildschirmschnittstellen.
- Copilot begründet seine Antwort, indem er das, was es sieht, mit Ihren Microsoft 365-Arbeitsdaten wie Dokumenten, E-Mails und früheren Diskussionen kombiniert.
- Copilot antworte per Stimme in Echtzeit, sodass du in derselben Unterhaltung Folgefragen stellen kannst.
Was kann das Sehen?
Hier sind einige der nützlichsten Dinge, die Sie mit Vision tun können:
- Analysieren und erläutern Sie, was Sie sich ansehen. Bitten Sie Copilot, Diagramme, Tabellen, Folien oder dichten Text zu interpretieren. Beispiel: "Fassen Sie diese Dashboard zusammen, und heben Sie alle Anomalien hervor."
- Wandeln Sie Feedback in die nächsten Schritte um. Teilen Sie eine Seite eines Dokuments, einer E-Mail oder eines Chats, und fragen Sie: "Welches Feedback habe ich dazu erhalten, und was sind meine nächsten Schritte?".
- Rufen Sie ein Projekt status Update ab. Teilen Sie einen Nachverfolgungs- oder Arbeitselement mit, und fragen Sie: "Geben Sie mir eine schnelle status dieses Elements, den aktuellen Besitzer und den nächsten Meilenstein."
- Erhalten Sie kontextbezogene Schritt-für-Schritt-Hilfe. Zeigen Sie ihre Smartphonekamera auf einen Gerätefehler, und fragen Sie: "Gewusst wie diesen Fehler beheben?".
Was sind die Einschränkungen des Sehens?
- Vision ist derzeit nur über Sprachchats mit Copilot verfügbar.
- Die tägliche Nutzung basiert auf der verfügbaren Kapazität und wird auf Ihre tägliche Sprachnutzung angerechnet. Sie werden in der Copilot-App benachrichtigt, wenn Sie sich Ihrer verfügbaren Nutzung nähern.
- Vision kann keine Videos oder animierten GIFs lesen.
- Ein zu schnelles Wechseln zwischen Fenstern beim Stellen einer Frage kann dazu führen, dass Copilot auf der Grundlage des falschen Bildschirminhalts reagiert.
- Das Sehen kann keine Maßnahmen ergreifen oder Elemente auf dem Bildschirm direkt bearbeiten.
- Vision hat keinen langfristigen Rückruf. Bildschirme oder Kameraeingaben aus vorherigen Sitzungen werden nicht wiederverwendet.
Hinweis
Dies sind die Funktionen beim Start. Laufende Verbesserungen können einige dieser Einschränkungen im Laufe der Zeit beheben.
Worauf hat vision Zugriff?
Während einer aktiven Sitzung verarbeitet Copilot die Bildschirm- oder Kamerainhalte, die Sie freigeben möchten, zusammen mit Ihren Microsoft 365-Arbeitsdaten, um antworten zu können, z. B. Dokumente, E-Mails, Besprechungen und vorherige Diskussionen.
- Die visuelle Eingabe ist vom Benutzer initiiert und sitzungsgebunden, sodass Copilot nur mit Inhalten funktioniert, die während der aktiven Sitzung freigegeben wurden.
- Freigegebene Bildschirm- oder Kamerainhalte werden als Eine Reihe von Bildern verarbeitet. Audio- und Videodaten werden vorübergehend gespeichert, damit Sie Microsoft Feedback geben können, und werden nach 48 Stunden gelöscht.
- Texttranskripte aus Sprachunterhaltungen werden auf die gleiche Weise wie Textunterhaltungen in der Microsoft 365 Copilot-App gespeichert und verwaltet.
- Vision hält sich an die Unternehmensverpflichtungen von Microsoft für Datensicherheit und Datenschutz und leitet keine sensiblen persönlichen Attribute wie Rasse oder Emotionen ab.
Weitere Informationen finden Sie unter Daten, Datenschutz und Sicherheit für Microsoft 365 Copilot.
Welche Arten von Inhalten werden unterstützt?
Vision kann eine Reihe von Inhalten auf dem Bildschirm und reale Inhalte verstehen, einschließlich:
- Text, Bilder, Diagramme, Tabellen und Dashboards.
- App-Schnittstellen und Workflows mit mehreren Fenstern auf dem Desktop.
- Physische Objekte, die über Ihre mobile Kamera angezeigt werden.
Welche Sprachen werden unterstützt?
Vision ist in allen Sprachen verfügbar, die von Microsoft 365 Copilot unterstützt werden. Einige Sprachen sind möglicherweise anfälliger für Aussprache- oder Erkennungsunterschiede. Eine vollständige Liste finden Sie unter Unterstützte Sprachen für Microsoft 365 Copilot.
Wie wurden Vision-Gespräche ausgewertet? Welche Metriken werden zum Messen der Leistung verwendet?
Um die Qualität sicherzustellen, erhält Copilot Testfragen, und seine Antworten werden anhand von Kriterien wie Relevanz, Korrektheit, Vollständigkeit, Ton und Einhaltung von Anweisungen bewertet. Um die Leistung besser zu messen, überprüfen wir auch die Featurenutzung, die Daumen-up-Rate, die Engagement-Rate und das Benutzerfeedback. Wir führen auch eine Vielzahl von Sicherheitsbewertungen durch, die sicherstellen, dass das Sehen auf schädliche Abfragen verantwortungsvoll reagiert.
Gewusst wie Feedback zum Sehen in Copilot geben?
Sie können Feedback geben, sobald Sie einen Sprachchat beenden. In Ihrem Chatverlauf sollte ein Daumen nach oben/unten angezeigt werden, der für Featureverbesserungen mit Microsoft geteilt wird. Wir verwenden dieses Feedback nicht, um die von Copilot verwendeten Basismodelle zu trainieren.