Microsoft Copilot Vision ist eine neue Möglichkeit, KI mit Ihnen zusammenzuarbeiten, wenn Sie Ihren Windows-PC oder Mac verwenden, in Microsoft Edge im Web navigieren oder die Welt auf Ihrem Smartphone anzeigen. Es ist wie eine zweite Gruppe von Augen, die basierend auf dem, was Copilot sieht, sofort scannen, analysieren und Einblicke bieten kann. Wenn Sie Copilot Vision aktivieren, kann Copilot Ihren Bildschirm- oder Kamerafeed anzeigen und Copilot Voice verwenden, um Fragen zu beantworten und mit Ihnen zu interagieren.
Hinweis
Copilot Vision erfasst, speichert oder verwendet keine Daten zum Trainieren unserer Modelle. Es werden keine Bilder aufbewahrt, transkribiert oder protokolliert. Sobald die Copilot Vision-Sitzung beendet ist, werden alle Bilder, Audiodaten und Kontexte gelöscht. Modellantworten werden gespeichert, um die Überwachung unsicherer Interaktionen zu ermöglichen. Ein Transkript Ihrer Unterhaltung mit Vision wird in Ihrem Unterhaltungsverlauf gespeichert, aber nicht für das Training oder die Personalisierung verwendet. Sie können Ihren Chatverlauf jederzeit löschen.
Copilot Vision ist in allen unterstützten Regionen und Sprachen verfügbar und kann über Windows, Edge und die mobile Copilot-App (iOS und Android) aufgerufen werden. Sie müssen sich bei Copilot anmelden, um auf Vision zugreifen zu können.
Abonnenten von Microsoft 365 Single, Family und Premium erhalten erweiterte Nutzungslimits von Vision.
So verarbeitet Copilot Vision Ihre Daten
Copilot Vision ist nur aktiv, wenn Sie eine Vision-Sitzung initiieren. Sie verarbeitet Ihre Daten in Übereinstimmung mit den Datenschutzbestimmungen von Microsoft.
Bei Verwendung von Vision werden nur die Antworten von Copilot protokolliert, um die Überwachung unsicherer Interaktionen und Ausgaben zu ermöglichen. Benutzereingaben, Bilder und Seiteninhalte werden nicht protokolliert oder gespeichert. Sobald die Sprachsitzung beendet wird, werden diese Daten gelöscht.
Vision ist nicht direkt mit Ihrem PC, dem Internet oder Ihrem Smartphone in Ihrem Namen verknüpft – es ist da, um Fragen zu beantworten, anstatt Maßnahmen zu ergreifen. Copilot Vision kann Teile des Bildschirms hervorheben, damit Sie relevante Informationen finden können. Es wird nicht in Ihrem Namen geklickt, Text eingegeben oder gescrollt.
Wenn Sie Vision zum ersten Mal in Windows, macOS, Edge und Copilot Mobile verwenden, fordert Copilot Sie auf, eine Datenschutzerklärung zu bestätigen.
Vision ist für kommerzielle Benutzer, die bei Copilot oder Edge mit einem Entra ID-Konto angemeldet sind, nicht verfügbar.
Verwenden von Copilot Vision unter Windows
Mit Copilot Vision können Sie während einer aktiven Sitzung ausgewählte Browserfenster oder Apps für Copilot freigeben. Copilot kann Fragen zu dem, was Sie freigeben möchten, beantworten und schrittweise Anleitungen bereitstellen.
Während eine Vision-Sitzung aktiv ist, kann Copilot Fragen zu den App- oder Browserfenstern beantworten, die Sie während der aktiven Sitzung freigegeben haben, auch wenn diese nicht mehr vor Ihnen geöffnet sind. Wenn die Vision-Sitzung endet, beendet Copilot sofort die Beobachtung, und der gesamte freigegebene Kontext wird gelöscht.
Copilot Vision funktioniert mit jeder App unter Windows. Wenn der Inhalt jedoch schädliches oder DRM-geschütztes Material enthält, kann Copilot es nicht analysieren.
So verwenden Sie das Feature:
Initiieren Sie eine Copilot Vision-Sitzung in der Copilot-App, indem Sie im Composer auf das Brillensymbol
klicken.Wählen Sie aus, welchen Bildschirm oder welche App Sie für Copilot freigeben möchten. Während Copilot Vision aktiv ist, sehen Sie einen leuchtend orangefarbenen Umriss um den freigegebenen Bildschirm oder die freigegebene App.
Hinweis
Sie können nur zwei Apps gleichzeitig auswählen.
Vision startet mit standardmäßig aktiviertem Text starten . Vision-status und -Steuerelemente werden im angedockten Copilot-Panel angezeigt. Sie können eine Textunterhaltung mit Copilot führen und Fragen zu dem stellen, was in der freigegebenen App angezeigt wird.
Wenn Sie den Umschalter in Mit Stimme beginnen ändern, werden auf einer unverankerten Symbolleiste die Steuerelemente "Vision" und "Voice" angezeigt. Sie hören Copilot eine Audiogrußwiedergabe. Anschließend können Sie eine Sprachunterhaltung mit Copilot führen und Fragen zu dem stellen, was In der freigegebenen App angezeigt wird.
Sie können sich selbst stummschalten, indem Sie auf das Mikrofonsymbol klicken, wodurch das Mikrofon deaktiviert wird und Copilot nicht mehr zuhört. Klicken Sie erneut auf das Mikrofonsymbol, um den Vorgang fortzusetzen.
Wenn Sie Copilot Vision um Hilfe bei der Verwendung einer bestimmten App bitten, wird möglicherweise ein hervorgehobener
dem Bildschirm angezeigt, um auf etwas hinzuweisen. Vision wird keine Aktionen auf Ihrem PC für Sie ergreifen, aber es kann erklären und zeigen, was Sie als Nächstes tun sollten.Wenn Sie bereit sind, die Copilot Vision-Sitzung zu beenden, klicken Sie auf der unverankerten Symbolleiste auf Beenden . Wenn die Sitzung beendet wird, hört Copilot sofort auf, zu beobachten.
Verwenden von Copilot Vision in Edge
Copilot Vision funktioniert mit den meisten Websites und Seiten, mit Ausnahme solcher, die schädliche oder nicht jugendfreie Inhalte enthalten. Wenn Sie eine Website besuchen, die Copilot Vision nicht unterstützt, zeigt der Copilot Composer am unteren Bildschirmrand ein abgeblendetes Symbol und eine gekreuzte Brille an, und das Modell weigert sich, den Inhalt der Seite zu besprechen.
So verwenden Sie das Feature:
Melden Sie sich mit Ihrem persönlichen Microsoft-Konto bei Edge an.
Klicken Sie auf der Edge-Symbolleiste auf das Copilot-Symbol.
Klicken Sie dann auf die Schaltfläche Stimme (Wellen)
.Wenn Copilot Vision aktiv ist, wird der Copilot-Seitenbereich mit einem Brillensymbol
und ein Mikrofonsymbol 
angezeigt.Navigieren Sie zu allen unterstützten Websites, Videos oder PDF-Dateien, nach denen Sie Copilot fragen möchten.
Hinweis
Während eine Vision-Sitzung ausgeführt wird, wird eine Symbolleiste mit einem Brillensymbol
im Copilot-Seitenbereich geöffnet, das anzeigt, dass Sie sich in einer aktiven Vision-Sitzung befinden. Copilot Vision bleibt aktiviert, während Sie verschiedene Seiten durchsuchen, bis Sie die Vision-Sitzung beenden. Copilot Vision sieht sich die Seite an und lässt Sie dann ein natürliches Gespräch mit Copilot über den Inhalt führen.
Sie können die Sitzung beenden, indem Sie auf der Symbolleiste unten im Copilot-Fenster auf das X klicken, den gesamten Copilot-Seitenbereich schließen oder Edge beenden.
Verwenden von Copilot Vision auf Mobilgeräten
Sie können auf Copilot Vision in der mobilen Copilot-App sowohl auf iOS- als auch auf Android-Geräten zugreifen.
Copilot Vision beantwortet Fragen basierend auf dem, was sie über die Kamera Ihres mobilen Geräts sieht.
So verwenden Sie das Feature:
Tippen Sie in der mobilen Copilot-App auf das Brillensymbol
, um eine Copilot Vision-Sitzung zu beginnen. Dadurch wird die Kamera Ihres mobilen Geräts initiiert.Hinweis: Sie müssen der Copilot-App zunächst die Berechtigung für den Zugriff auf Ihre Gerätekamera erteilen, um dieses Feature verwenden zu können.
Sprechen Sie mit Copilot, und stellen Sie Fragen dazu, was Sie durch die Kamera oder auf Dem Bildschirm sehen. Copilot Vision bleibt aktiviert, bis Sie die Vision-Sitzung beenden.
Um die Copilot Vision-Sitzung zu beenden, tippen Sie auf das X-Symbol .