Microsoft Copilot Vision ist eine neue Möglichkeit, KI mit Ihnen arbeiten zu lassen, während Sie Ihren Windows-PC oder Mac verwenden, in Microsoft Edge im Internet surfen oder die Welt von Ihrem Smartphone aus betrachten. Es funktioniert wie ein zweites Paar Augen, das basierend auf dem, was Copilot sieht, scannen, analysieren und Erkenntnisse liefern kann. Wenn Sie eine Copilot Vision-Sitzung starten, kann Copilot den Bildschirm, die App, die Seite oder den mobilen Kamerafeed anzeigen, den Sie freigeben möchten, und dann Copilot Voice verwenden, um Fragen zu beantworten und Sie durch das zu führen, was Sie sehen.
Hinweis
Copilot Vision verwendet keine Daten aus Ihrer Vision-Sitzung, um unsere Modelle zu trainieren. Sitzungsdaten können vorübergehend bis zu 47 Stunden aufbewahrt werden, um vom Benutzer übermitteltes Feedback zu unterstützen, und werden danach automatisch gelöscht, wenn kein Feedback übermittelt wird. Ein Transkript Ihres Gesprächs mit Vision wird in Ihrem Chatverlauf gespeichert, damit Sie sie später erneut aufrufen können. Ihr Unterhaltungsverlauf wird nicht für Schulungen oder Personalisierungen verwendet, und Sie können ihn jederzeit löschen.
Die Verfügbarkeit von Copilot Vision kann während des Rollouts variieren. Die Bilder sind in allen unterstützten Regionen und Sprachen verfügbar und können über Windows, Edge und die mobile Copilot-App unter iOS und Android aufgerufen werden. Sie müssen Microsoft 365 Single, Family oder Premium abonnieren, um auf Copilot Vision zugreifen zu können.
So verarbeitet Copilot Vision Ihre Daten
Copilot Vision ist nur aktiv, wenn Sie eine Vision-Sitzung starten. Es behandelt Ihre Daten in Übereinstimmung mit den Datenschutzbestimmungen von Microsoft.
Wenn Sie Vision verwenden, werden möglicherweise Copilot-Antworten protokolliert, um unsichere Interaktionen und Ausgaben zu überwachen. Benutzereingaben, Bilder, Audio und freigegebene Seiteninhalte werden nicht zum Trainieren von Modellen oder Personalisieren Ihrer Erfahrung verwendet. Sitzungsdaten können vorübergehend bis zu 47 Stunden aufbewahrt werden, um vom Benutzer übermitteltes Feedback zu unterstützen, und werden danach automatisch gelöscht, wenn kein Feedback übermittelt wird.
Die Sicht interagiert nicht direkt für Sie mit Ihrem PC, dem Web oder Ihrem Smartphone. Es ist da, um Fragen zu beantworten und Sie zu führen, nicht um Maßnahmen für Sie zu ergreifen. Copilot Vision hebt möglicherweise Teile des Bildschirms hervor, um Ihnen bei der Suche nach relevanten Informationen zu helfen, aber es wird nicht in Ihrem Namen geklickt, Text eingegeben oder gescrollt.
Wenn Sie Vision zum ersten Mal in Windows, macOS, Edge oder Copilot Mobile verwenden, werden Sie von Copilot aufgefordert, eine Datenschutzerklärung zu bestätigen.
Vision ist für kommerzielle Benutzer verfügbar, die mit ihrer Entra-ID in den Copilot-Web- und mobilen Apps angemeldet sind.
Verwenden von Copilot Vision unter Windows
Mit Copilot Vision können Sie ausgewählte Browserfenster oder Apps während einer aktiven Sitzung für Copilot freigeben. Copilot kann Fragen dazu beantworten, was Sie teilen möchten, und schrittweise Anleitungen bereitstellen.
Während eine Vision-Sitzung aktiv ist, kann Copilot Fragen zu den App- oder Browserfenstern beantworten, die Sie freigegeben haben, auch wenn sie nicht mehr vor Ihnen geöffnet sind. Wenn die Vision-Sitzung endet, beendet Copilot sofort die Überwachung der Inhalte, die Sie freigegeben haben, und der freigegebene Kontext ist für die aktive Vision-Sitzung nicht mehr verfügbar.
Copilot Vision funktioniert mit jeder App unter Windows. Wenn der Inhalt jedoch schädliches oder DRM-geschütztes Material enthält, kann Copilot ihn nicht analysieren.
So verwenden Sie Copilot Vision unter Windows:
- Starten Sie einen Sprachanruf in Copilot. Die Sicht ist standardmäßig deaktiviert.
- Um Vision zur Voice-Sitzung hinzuzufügen, wählen Sie "Bildschirm freigeben" aus.
- Wählen Sie den Bildschirm oder die App aus, die Sie für Copilot freigeben möchten. Während Copilot Vision aktiv ist, wird ein Umriss um den freigegebenen Bildschirm oder die App herum angezeigt. Sie können bis zu zwei Apps gleichzeitig freigeben.
- Stellen Sie sicher, dass Mikrofon und Audio aktiviert sind. Copilot Vision verwendet die Spracheingabe und -ausgabe, um Fragen zu den freigegebenen Inhalten zu beantworten.
- Eine unverankerte Symbolleiste mit Vision- und Sprachsteuerelementen wird angezeigt. Copilot begrüßt Sie, und Sie können beginnen, Fragen zu den freigegebenen Inhalten zu stellen.
- Um sich stumm zu schalten, wählen Sie das Mikrofonsymbol
. Dadurch wird Copilot am Zuhören gehindert. Wählen Sie zum Fortsetzen das Mikrofonsymbol erneut aus. - Um die Vision-Sitzung zu beenden, wählen Sie in der unverankerten Symbolleiste "Beenden " aus. Wenn die Sitzung beendet wird, beendet Copilot sofort die Überwachung der freigegebenen Inhalte.
Verwenden von Copilot Vision in Edge
Copilot Vision funktioniert mit den meisten Websites und Seiten, mit Ausnahme derjenigen, die schädliche oder nicht jugendfreie Inhalte enthalten. Wenn Sie eine Website besuchen, die Copilot Vision nicht unterstützt, zeigt der Copilot-Composer am unteren Rand des Bildschirms ein abgeblendetes Symbol an, und Copilot wird den Inhalt der Seite nicht diskutieren.
So verwenden Sie Copilot Vision in Edge:
- Melden Sie sich mit Ihrem persönlichen Microsoft-Konto bei Edge an.
- Wählen Sie das Copilot-Symbol in der Edge-Symbolleiste aus.
- Wählen Sie die Schaltfläche Voice (Wellen)
. - Starten Sie eine Voice-Sitzung mit Copilot.
- Wählen Sie "Bildschirm freigeben " aus, um der Sprachsitzung Vision hinzuzufügen.
- Wechseln Sie zu jeder unterstützten Website, jedem Video oder jeder PDF-Datei, zu der Sie Copilot fragen möchten. Wenn Sie Vision verwenden, informiert Sie eine Symbolleiste im Copilot-Seitenbereich darüber, dass Ihre Vision-Sitzung aktiv ist. Das Sehvermögen bleibt bei Ihnen, während Sie von Seite zu Seite blättern, bis Sie bereit sind, die Sitzung zu beenden.
- Stellen Sie Copilot Fragen zu der Seite oder dem Inhalt, den Sie sich ansehen.
- Um die Sitzung zu beenden , wählen Sie X in der Symbolleiste am unteren Rand des Copilot-Fensters aus, schließen Sie den Copilot-Seitenbereich oder beenden Sie Edge.
Verwenden von Copilot Vision auf Mobilgeräten
Hinweis
Mobile Vision-Funktionen werden in Kürze eingeführt. Mobile Vision und Bildschirmfreigabe werden schrittweise auf iOS- und Android-Geräten aktiviert, sodass die Verfügbarkeit während des Rollouts je nach Benutzer variieren kann.
Sie können auf Copilot Vision in der mobilen Copilot-App sowohl auf iOS- als auch auf Android-Geräten zugreifen. Copilot Vision beantwortet Fragen basierend auf dem, was es durch Ihre Kamera oder Ihren Bildschirm Ihres Mobilgeräts sieht.
So verwenden Sie Copilot Vision auf Mobilgeräten:
- Starten Sie in der mobilen Copilot-App eine Sprachsitzung mit Copilot und wählen Sie dann Bildschirm freigeben aus. Dadurch wird die Kamera Ihres Mobilgeräts gestartet.
- Sie müssen der Copilot-App die Berechtigung für den Zugriff auf Ihre Gerätekamera erteilen, um dieses Feature zu verwenden.
- Sprechen Sie mit Copilot, und stellen Sie Fragen zu dem, was Sie durch die Kamera oder auf Ihrem Bildschirm sehen. Copilot Vision bleibt aktiviert, bis Sie die Vision-Sitzung beenden.
- Um die Copilot Vision-Sitzung zu beenden, wählen Sie X aus.