Aktion per Mausklick: Machen Sie mehr aus dem, was auf Ihrem Bildschirm zu sehen ist

Click to Do hilft Ihnen, Dinge schneller zu erledigen, indem Sie Text und Bilder auf Ihrem Bildschirm identifizieren, mit denen Sie Aktionen ausführen können. Klicken Sie auf "Tun", um zu analysieren, was auf dem Bildschirm angezeigt wird, und dann können Sie den Text oder das Bild auswählen, für den Sie Maßnahmen ergreifen möchten.

Die Analyse dieses Screenshots wird immer lokal auf Ihrem Gerät durchgeführt. Die Analyse beginnt erst, nachdem Sie sich aktiv mit Click to Do beschäftigt haben, und endet, wenn Sie Click to Do beenden. Klicken Sie auf "Do", um nur Text und Bilder zu identifizieren, nicht den Inhalt dieser Texte oder Bilder. Es werden keine Inhalte in minimierten Anwendungen analysiert, die sich nicht auf dem Bildschirm befinden.

Inhalte werden nur freigegeben, wenn Sie eine Aktion wie "Web durchsuchen" ausführen möchten. Sie werden feststellen, dass ihr Cursor blau und weiß ist, wenn Click to Do aktiv ist. Der Cursor ändert auch die Form abhängig vom Typ der darunter liegenden Informationen. Was Sie mit den Informationen tun können, ändert sich basierend darauf, welche Art von Inhalt Click to Do erkennt.

Screenshot des Menüs "Textaktionen" für Click to Do

Systemanforderungen

Ein Copilot+ PC

40 TOPS NPU (Neural Processing Unit)
16 GB RAM
8 logische Prozessoren
256 GB Speicherkapazität

Um den Einstiegspunkt Click to Do aus dem Snipping Tool anzuzeigen, ist Snipping Tool Version 11.2411.20.0 oder höher erforderlich.

Verwenden von Click to Do

Verwenden Sie einfach die Windows-Taste + Mausklick oder die Windows-Taste + Q , um Klick-to-Do einzugeben, und ergreifen Sie Aktionen für das, worauf Sie geklickt haben. Sie können auch klicken und ausführen, indem Sie PCs mit der rechten Maustaste wischen, oder im Menü Snipping Tool (Snipping Tool ) eingeben, wenn das Snipping Tool installiert ist. Wenn Sie jemals benötigen, können Sie auch nach Click to Do in Windows Search suchen, um die angezeigten Elemente auszuwählen und Aktionen auszuführen.

Wenn Sie Click to Do zum ersten Mal starten, wird Ihnen ein kurzes interaktives Tutorial angeboten, das Ihnen zeigt, wie Sie Aufgaben schneller erledigen können. Sie können das Tutorial jederzeit erneut besuchen, indem Sie ... und dann Tutorial starten auswählen.

Wenn Sie EIN IT-Administrator sind und weitere Informationen benötigen, finden Sie weitere Informationen unter Verwalten von Click-to-Do.

Klicken, um mehr mit Text zu tun

Wenn Sie Text mit Click to Do hervorheben, erhalten Sie die folgenden Optionen:

Kopieren: Kopiert den markierten Text in die Zwischenablage.
Öffnen mit: Öffnet den markierten Text in einem Text-Editor wie Editor.
Websuche: Sucht mithilfe von Microsoft Edge und Bing nach dem ausgewählten Text.

Wenn der hervorgehobene Text eine E-Mail-Adresse ist, können Sie den Text kopieren oder:

E-Mail senden: Verwendet Ihre Standard-E-Mail-App, um eine neue E-Mail an die ausgewählte E-Mail-Adresse zu öffnen.
Nachricht mit Teams senden: Öffnet eine Teams-Nachricht mithilfe der ausgewählten E-Mail-Adresse als Empfänger
Besprechung mit Teams planen: Öffnet eine neue Teams-Kalendereinladung mit der ausgewählten E-Mail-Adresse als Teilnehmer.

Wenn es sich bei dem hervorgehobenen Text um eine Website handelt, können Sie entweder den Text kopieren oder Website öffnen.

Website öffnen: Öffnet die ausgewählte Website in Ihrem Standardbrowser

Intelligentere Textaktionen sind verfügbar, wenn Ihre Standardsprache auf Englisch festgelegt ist, mindestens 10 Wörter ausgewählt sind und Sie entweder mit einem Microsoft-Konto oder Microsoft Entra Konto angemeldet sind. Intelligente Textaktionen, die durch das kleine Sprachmodell von Phi Silica und die NPU unterstützt werden, umfassen:

Zusammenfassung: Beschreibt kurz die Hauptpunkte des markierten Texts.
Erstellen einer Aufzählung: Erstellt eine Aufzählung von Schlüsseldetails aus dem markierten Text.
Umschreiben (lässig): Überarbeitet den ausgewählten Text in einem lockeren Ton
Rewrite (Formal): Überarbeitet den ausgewählten Text mit einem formalen Ton
Rewrite (Refine): Überarbeitet den markierten Text, um grammatikalische Verbesserungen vorzunehmen
Mit Copilot in Word entwerfen: Sendet den markierten Text an Copilot in Word
Üben in Lesecoach: Öffnet den Lesecoach, in dem Sie den ausgewählten Text laut vorlesen können. Der Lesecoach gibt Feedback und führt Sie darüber, wo Sie Verbesserungen an der Aussprache vornehmen können.
Lesen mit Plastischer Reader: Öffnet den Lesecoach und zeigt den ausgewählten Text in einer ablenkungsfreien Umgebung an. Sie können den Text laut vorlesen lassen, das Bildwörterbuch verwenden und Nomen, Verben und Adjektive hervorheben, um das Grammatiklernen zu unterstützen.

Klicken sie, um mehr mit Bildern zu tun

Wenn Sie ein Bild auswählen, erhalten Sie die folgenden Optionen:

Kopieren: Kopiert das Bild in die Zwischenablage.
Speichern unter: Speichern des Bilds an einem angegebenen Speicherort
Freigeben: Öffnet die Option "Dateien freigeben " für die Bilddatei.
Öffnen mit: Öffnen Sie das Bild mit einer App wie Fotos, Snipping Tool oder Paint.
Visuelle Suche mit Bing: Führt eine visuelle Suche mithilfe von Bing mithilfe Ihres Standardwebbrowsers aus.
Weichzeichnen des Hintergrunds mit Fotos: Weichzeichnen des Hintergrunds mit der Fotos-App
Löschen von Objekten mit Fotos: Löschen unerwünschter Objekte im Bild mit der Fotos-App
Entfernen des Hintergrunds mit Paint: Entfernen des Hintergrunds des Bilds mit Paint

Tipp: Wenn die Optionen für Microsoft Fotos oder Paint nicht angezeigt werden, stellen Sie sicher, dass die neueste Version der App aus dem Microsoft Store installiert ist.

Screenshot von Click to Do mit dem Menü "Bildaktionen".

Klicken sie, um mehr mit Inhalten zu tun

Wenn Sie text oder bilder mit Click to Do hervorheben, erhalten Sie die Option Ask Copilot. Copilot wird mit Ihrem Inhalt im Eingabeaufforderungsfeld geöffnet. Copilot wird dann zum Anbieter für den Abschluss der Aktion, da der ausgewählte Inhalt von Click to Do an Copilot übergeben wird.

Wenn Ihr Gerät Teil der organization Ihres Geschäfts-, Schul- oder Unikontos ist, wird Ask Microsoft 365 Copilot anstelle von Ask Copilot angezeigt. Mit dieser Aktion kann Microsoft 365 Copilot Ihre Abfragen behandeln. Ask Microsoft 365 Copilot erfordert eine Microsoft 365-Lizenz und respektiert die Datenschutzrichtlinien Ihrer organization.

Screenshot des Kontextmenüs "Click to Do" mit "Ask Copilot"

Click to Do deaktivieren

Standardmäßig ist Click to Do für Copilot+-PCs aktiviert. Obwohl es nicht entfernt werden kann, können Sie sie am folgenden Speicherort deaktivieren oder aktivieren:

Öffnen Sie Einstellungen, und wechseln Sie dann zu > Datenschutz & Sicherheit > Klicken Sie, um zu tun.
Legen Sie die Einstellung Click to Do auf Folgendes fest:
- Ein: Klicken auf "Do" ist aktiviert (Standard)
- Aus: Klicken auf "Do" ist deaktiviert

Wenn Click to Do deaktiviert ist, werden windows-Taste + Mausklick, Windows-Taste + Q und Wischen nach rechts bei Toucheingabe aktivierte PCs nicht geöffnet Klicken und Tun. Möglicherweise werden weiterhin Optionen zum Öffnen von Click-to-Do von anderen Speicherorten angezeigt, z. B. Snipping Tool, aber Sie erhalten die Fehlermeldung Click to Do konnte nicht geöffnet werden, wenn Sie ihn auswählen.

Klicken Sie, um regionale Variationen zu tun

Die Features von Aktion per Mausklick variieren je nach Region und Spracheinstellungen Ihres Geräts. Wenn Sie diese Unterschiede verstehen, können Sie das Tool in verschiedenen Umgebungen effektiv nutzen. Die wichtigsten Unterschiede zwischen Regionen sind folgende:

Region Des Europäischen Wirtschaftsraums (EWR)

Im Web suchen: Verwendet Microsoft Edge und Bing, um Suchvorgänge durchzuführen.
Visuelle Suche mit Bing: Nicht verfügbar.
Hintergrund mit Paint entfernen: Erweiterte Bildfunktionen wie Weichzeichnen, Entfernen und Löschen sind derzeit nicht verfügbar.
Copilot fragen: Nicht verfügbar.
Microsoft Teams-Aktionen: Funktionen wie das Senden von Nachrichten und das Planen von Besprechungen mit Teams sind nicht verfügbar.
Üben in Lesecoach: Nicht verfügbar.
Lesen mit Plastischem Reader: Nicht verfügbar.
Mit Copilot in Word entwerfen: Nicht verfügbar.

China

Im Web suchen: Aufgrund gesetzlicher Vorgaben können lokale Suchmaschinen für die Suche verwendet werden.
Visuelle Suche mit Bing: Der Zugriff auf die visuelle Suche mit Bing kann sich aufgrund lokaler Vorschriften unterscheiden.
Copilot fragen: Nicht verfügbar.
Mit Copilot in Word entwerfen: Nicht verfügbar.
Zusammenfassen: Nicht verfügbar.
Aufzählung erstellen: Nicht verfügbar.
Formell umschreiben: Nicht verfügbar.
Detailliert umschreiben: Nicht verfügbar.

Datenschutzüberlegungen zum Thema "Click to Do"

Wenn Sie Informationen von Aktion per Mausklick an eine Anwendung wie Paint senden möchten, speichert Aktion per Mausklick diese Informationen vorübergehend, um die Übertragung abzuschließen. Aktion per Mausklick erstellt eine temporäre Datei an folgendem Ort:

C:\Users\{username}\AppData\Local\Temp

Temporäre Dateien können auch gespeichert werden, wenn Sie „Feedback senden“ auswählen. Diese temporären Dateien werden nicht langfristig gespeichert. Aktion per Mausklick behält nach Abschluss der angeforderten Aktion keine Inhalte von Ihrem Bildschirm. Die Bilddatei kann jedoch vorübergehend gespeichert werden, bis der Prozess vollständig abgeschlossen oder eine neue Aktion initiiert wird. Einige Diagnosedaten werden ebenfalls gesammelt, um Aktion per Mausklick sicher, aktuell und funktionsfähig zu halten.

Die weiteren intelligenten Textaktionen von Aktion per Mausklick, darunter Zusammenfassen, Aufzählungsliste erstellen, Umschreiben (zwanglos), Umschreiben (formell) und Umschreiben (verfeinern), werden von einem hochmodernen kleinen Sprachmodell namens Phi Silica unterstützt. Phi Silica nutzt die NPU, und das Sprachmodell wird lokal auf Copilot+ PCs ausgeführt. Phi Silica wird im Posteingang mit Windows auf Copilot+ PCs ausgeliefert.

Wenn ein Benutzer auf die Aktion per Mausklick-Textaktionen klickt, werden der markierte Text und die ausgewählte Aktion im Rahmen einer Eingabeaufforderung an Phi Silica gesendet. Phi Silica wird lokal auf dem Gerät ausgeführt. Phi Silica schreibt den ausgewählten Text gemäß der Anforderung des Benutzers intelligent um und streamt die Antwort aus dem Modell zurück. Phi Silica antwortet schnell und effizient und verbraucht dabei sehr wenig Energie. Weitere Informationen finden Sie unter Phi Silica, das kleine, aber leistungsstarke On-Device-SLM.

Im Einklang mit dem Engagement von Microsoft für Datenschutz und Sicherheit werden alle gespeicherten Bilder und verarbeiteten Daten auf dem Gerät aufbewahrt und lokal verarbeitet. Mit Aktion per Mausklick haben Sie jedoch die Wahl, ob Sie online weitere Informationen zu Ihren ausgewählten Inhalten erhalten möchten. Wenn Sie eine der folgenden Aktion per Mausklick-Aktionen auswählen, wird der ausgewählte Inhalt von Ihrem lokalen Gerät an den Onlineanbieter gesendet, um Ihre Anforderung abzuschließen:

Suche im Web: Sendet den ausgewählten Inhalt an Bing mit Microsoft Edge
Website öffnen: Öffnet die ausgewählte Website in Ihrem Standardbrowser
Visuelle Suche mit Bing: Sendet den ausgewählten Inhalt mithilfe Ihres Standardbrowsers an die visuelle Bing-Suche

Weitere Informationen zum Datenschutz für Aktion per Mausklick finden Sie in den Microsoft-Datenschutzbestimmungen.

Verpflichtung von Microsoft zu verantwortungsvoller KI und Datenschutz

Microsoft arbeitet seit 2017 daran, KI verantwortungsbewusst weiter zu entwickeln, als wir unsere KI-Prinzipien zum ersten Mal definiert und später unseren Ansatz mit unserem Responsible AI Standard operationalisiert haben. Datenschutz und Sicherheit sind grundlegende Prinzipien bei der Entwicklung und Bereitstellung von KI-Systemen. Wir bemühen uns unseren Kunden zu helfen, unsere KI-Produkte verantwortungsvoll zu nutzen, unsere Erkenntnisse zu teilen und vertrauensbasierte Partnerschaften aufzubauen. Weitere Informationen zu unseren verantwortungsbewussten KI-Bemühungen, den Grundsätzen, die uns leiten, und den Tools und Funktionen, die wir entwickelt haben, um sicherzustellen, dass wir KI-Technologie verantwortungsbewusst entwickeln, finden Sie unter Verantwortungsvolle KI.

Um Klarheit über die Funktionsweise der einzelnen KI-Features zu schaffen, ist es wichtig, dass Sie die Funktionen und Einschränkungen kennen. Sie sollten sich mit den Optionen vertraut machen, die Ihnen in einem KI-Feature zur Verfügung stehen, und der Verantwortung, die mit diesen Entscheidungen verbunden ist.

Aktion per Mausklick schlägt Aktionen vor, die Sie durchführen können, und Sie können die Apps auswählen, die als Anbieter für diese Aktionen fungieren sollen (falls zutreffend). Nachdem Sie die Aktion und den Anbieter für die Aktion ausgewählt haben, liegen die Ergebnisse dieser Aktion in der Verantwortung des Anbieters. Beispielsweise können Sie unter Aktion per Mausklick die Aktion „Hintergrund mit Paint entfernen“ auswählen, was bedeutet, dass Sie Paint als Anbieter für die Aktion ausgewählt haben. Nachdem Sie die Aktion aus dem Aktion per Mausklick-Kontextmenü ausgewählt haben, wird die Paint-Anwendung gestartet und das ausgewählte Bild mit Paint bearbeitet.

Aktion per Mausklick verwendet die optische Zeichenerkennung (Optical Character Recognition, OCR) auf Ihrem PC, um Textentitäten auf Screenshots zu erkennen. Weitere Informationen zu OCR finden Sie unter Transparenzhinweis und Anwendungsfälle für OCR.

Die intelligenten Textaktionen von Aktion per Mausklick verwenden ein kleines Sprachmodell namens Phi Silica. Weitere Informationen zu Phi Silica finden Sie unter Erste Schritte mit Phi Silica im Windows App SDK. Informationen zu den Prinzipien der verantwortungsvollen KI, die die Bereitstellung von Phi Silica und die Sicherheitsmaßnahmen bei der Verwendung von generativen Sprachmodellen leiten, finden Sie unter Verantwortungsvolle generative KI-Entwicklung unter Windows.

Die Modelle von Click to Do wurden neben umfassenden Bewertungen der verantwortungsvollen KI, der Sicherheit und des Datenschutzes auch Fairnesseinschätzungen unterzogen, um sicherzustellen, dass die Technologie effektiv und gerecht ist und gleichzeitig den Best Practices von Microsoft für verantwortungsvolle KI entspricht.