Hinweis
Startseite, der neue Ausgangspunkt in Copilot, an dem Chat und Cowork zusammenkommen, befindet sich noch im Rollout, sodass sich das, was Sie in der Copilot-App sehen, von dem, was in diesem Artikel beschrieben wird, unterscheiden kann.
Mit Vision in Microsoft Copilot können Sie Ihren Desktopbildschirm oder Ihre mobile Kamera freigeben und Copilot fragen, was Sie sehen. Die Antworten basieren sowohl auf dem freigegebenen Inhalt als auch auf Ihren Arbeitsdaten. Informationen zu dessen Verwendung finden Sie unter Erste Schritte mit Vision in Microsoft Copilot.
Wie funktioniert das Sehvermögen?
Vision wandelt das, was Sie teilen, in Informationen um, die Copilot analysieren kann, und kombiniert sie dann mit Ihren Arbeitsdaten, um Ihnen laut zu antworten.
- Sie geben visuelle Eingaben während einer Sprachunterhaltung frei: Ihren Desktopbildschirm (unter Windows oder im Web) oder Ihre mobile Kamera.
- Copilot wandelt den freigegebenen Bildschirm- oder Kamerainhalt in Daten um, die analysiert werden können, einschließlich Text, Bilder, Diagramme und Bildschirmoberflächen.
- Copilot kombiniert seine Antwort mit Ihren Microsoft 365-Arbeitsdaten wie Dokumenten, E-Mails und früheren Diskussionen.
- Copilot antwortet per Sprachbefehl in Echtzeit, sodass Sie noch in derselben Unterhaltung Folgefragen stellen können.
Was kann das Sehen?
Hier sind einige der nützlichsten Dinge, die Sie mit Sehvermögen tun können:
- Analysieren und erklären Sie, was Sie sich ansehen. Fragen Sie Copilot, um Diagramme, Tabellen, Folien oder dichten Text zu interpretieren. Beispiel: "Dieses Dashboard zusammenfassen und Anomalien hervorheben."
- Verwandeln Sie Feedback in die nächsten Schritte. Teilen Sie eine Seite eines Dokuments, einer E-Mail oder eines Chats und fragen Sie: "Welches Feedback habe ich dazu erhalten, und was sind meine nächsten Schritte?"
- Rufen Sie ein Update des Status von Projekten ab. Geben Sie einen Tracker oder ein Arbeitselement frei, und bitten Sie ihn: "Gib mir einen schnellen Status dieses Elements, den aktuellen Besitzer und den nächsten Meilenstein."
- Holen Sie sich kontextbezogene Hilfe mit Schritt-für-Schritt. Richten Sie Ihre Telefonkamera auf einen Gerätefehler, und fragen Sie: "Gewusst wie kann ich diesen Fehler beheben?"
Was sind die Grenzen des Sehvermögens?
- Sehen ist derzeit nur über Sprachchats mit Copilot verfügbar.
- Die tägliche Nutzung basiert auf der verfügbaren Kapazität und wird auf Ihre tägliche Sprachnutzung angerechnet. Sie werden in der Copilot-App benachrichtigt, wenn Sie sich Ihrer verfügbaren Nutzung nähern.
- Die Sehkraft kann keine Videos oder animierten GIFs lesen.
- Wenn Sie beim Stellen einer Frage zu schnell zwischen Fenstern wechseln, kann Copilot auf der Grundlage des falschen Bildschirminhalts antworten.
- Die Sehfunktion kann keine Aktionen ausführen oder Elemente auf dem Bildschirm direkt bearbeiten.
- Das Sehvermögen hat keine Langzeiterinnerung. Bildschirme oder Kameraeingaben aus früheren Sitzungen werden nicht wiederverwendet.
Hinweis
Dies sind die Funktionen beim Start. Laufende Verbesserungen können einige dieser Einschränkungen im Laufe der Zeit beheben.
Worauf hat das Sehvermögen Zugriff?
Während einer aktiven Sitzung verarbeitet Copilot die Bildschirm- oder Kamerainhalte, die Sie freigeben möchten, zusammen mit Ihren Microsoft 365-Arbeitsdaten, um die Antworten zu finden, z. B. Dokumente, E-Mails, Besprechungen und frühere Diskussionen.
- Die visuelle Eingabe wird vom Benutzer initiiert und sitzungsgebunden, sodass Copilot nur mit Inhalten funktioniert, die während der aktiven Sitzung freigegeben wurden.
- Freigegebene Bildschirm- oder Kamerainhalte werden als Bildsequenzen verarbeitet. Audio- und Videodaten werden vorübergehend gespeichert, damit Sie Feedback an Microsoft senden können, und nach 48 Stunden gelöscht.
- Texttranskripte aus Sprachunterhaltungen werden auf die gleiche Weise wie Textunterhaltungen in der Microsoft Copilot-App gespeichert und verwaltet.
- Vision entspricht den unternehmensweiten Verpflichtungen von Microsoft zu Datensicherheit und Datenschutz und leitet keine sensiblen persönlichen Attribute wie Rasse oder Emotionen ab.
Weitere Informationen finden Sie unter Daten, Datenschutz und Sicherheit für Microsoft Copilot
Welche Arten von Inhalten werden unterstützt?
Sehen kann eine Reihe von Bildschirminhalten und realen Inhalten verstehen, darunter:
- Texte, Bilder, Diagramme, Tabellen und Dashboards.
- App-Schnittstellen und Workflows mit mehreren Fenstern auf dem Desktop.
- Physische Objekte, die durch Ihre mobile Kamera betrachtet werden.
Welche Sprachen werden unterstützt?
Vision ist in allen Sprachen verfügbar, die von Microsoft Copilot unterstützt werden. Einige Sprachen sind möglicherweise anfälliger für Aussprache- oder Erkennungsunterschiede. Eine vollständige Liste finden Sie unter Unterstützte Sprachen für Microsoft Copilot.
Wie wurden Visionsgespräche ausgewertet? Welche Metriken werden zum Messen der Leistung verwendet?
Um die Qualität sicherzustellen, erhält Copilot Testfragen, und seine Antworten werden anhand von Kriterien wie Relevanz, Korrektheit, Vollständigkeit, Tonfall und Befehlstreue bewertet. Um die Leistung besser messen zu können, überprüfen wir auch die Featurenutzung, die Daumen-hoch-Rate, die Interaktionsrate und das Benutzerfeedback. Wir führen auch eine breite Palette von Sicherheitsbewertungen durch, um sicherzustellen, dass Vision verantwortungsbewusst auf schädliche Anfragen reagiert.
Gewusst wie gebe ich Feedback zur Vision in Copilot?
Sie können Feedback geben, sobald Sie einen Sprach-Chat beendet haben. In Ihrem Chatverlauf sollte ein Daumen nach oben/unten angezeigt werden, der für Microsoft zur Verbesserung der Funktionen freigegeben wird. Wir verwenden dieses Feedback nicht, um die von Copilot verwendeten Basismodelle zu trainieren.