Funkcja Kliknij, aby wykonać: zrób więcej dzięki zawartości ekranu

Dotyczy
Windows 11

Kliknij pozycję Do, aby przyspieszyć wykonywanie zadań, identyfikując tekst i obrazy na ekranie, za pomocą których możesz wykonywać akcje. Kliknij pozycję Do, aby przeanalizować zawartość ekranu, a następnie możesz wybrać tekst lub obraz, na których chcesz wykonać akcję. 

Analiza tego zrzutu ekranu jest zawsze wykonywana lokalnie na urządzeniu. Analiza rozpoczyna się dopiero po aktywnym nawiązaniu przez Ciebie angażowania się w działanie aplikacji Click to Do i kończy się po zakończeniu działania funkcji Kliknij, aby zrobić. Kliknij pozycję Do, aby zidentyfikować tylko tekst i obrazy, a nie zawartość tych tekstów lub obrazów. Nie analizuje żadnej zawartości, na przykład w zminimalizowanych aplikacjach, które nie znajdują się na ekranie.    

Zawartość jest udostępniana tylko wtedy, gdy użytkownik zdecyduje się wykonać akcję, taką jak Wyszukaj w sieci Web. Po aktywnym kliknięciu w celu wykonania kursor będzie niebieski i biały. Kursor zmienia również kształt w zależności od typu informacji pod nim. Co można zrobić, gdy informacje są zmieniane w zależności od tego, jakiego rodzaju zawartość jest wykrywana przez kliknięcie w celu wykonania.

Aplikacja Click to Do przeanalizowała zawartość ekranu, a użytkownik wybrał tekst do podjęcia działań.

Wymagania systemowe z Copilot+ PC

Copilot+ PC lub kwalifikujący się komputer w chmurze

  • 40 TOPS NPU (jednostka przetwarzania neuronowego)
  • 16 GB pamięci RAM
  • 8 procesorów logicznych
  • Pojemność 256 GB przestrzeni dyskowej

Aby wyświetlić punkt wejścia Kliknij, aby wykonać czynności z narzędzia Wycinanie, wymagane jest narzędzie Wycinanie w wersji 11.2411.20.0 lub nowszej.

Jak używać aplikacji Click to Do

Wystarczy użyć klawisza WindowsKliknijmysząWindowsLogo + lub klawiszWindowsLogo + Q, aby wprowadzić Click to Do i podjąć akcje na klikniętych elementach. Możesz również wprowadzić polecenie Kliknij, aby zrobić, szybko przesuwając prawym przyciskiem myszy na komputerach z obsługą dotyku lub z menu Narzędzie Wycinanie , jeśli jest zainstalowane narzędzie Wycinanie . Jeśli kiedykolwiek zajdzie taka potrzeba, możesz również wyszukać polecenie Kliknij w celu wykonania w usłudze Windows Search , aby wybrać i podjąć akcje dotyczące tego, co widzisz. 

Po uruchomieniu aplikacji Click to Do po raz pierwszy zostanie wyświetlony krótki interakcyjny samouczek pokazujący, jak szybciej wykonywać zadania. W dowolnym momencie możesz ponownie wyświetlić samouczek, wybierając pozycję ..., a następnie pozycję Rozpocznij samouczek

Jeśli jesteś administratorem IT i potrzebujesz więcej informacji, zobacz Jak zarządzać kliknięciem w celu wykonania.

Kliknij, aby zrobić więcej z tekstem

Po wyróżnieniu tekstu kliknięciem w celu wykonania są dostępne następujące opcje:

  • Kopiowanie: kopiuje zaznaczony tekst do schowka.
  • Otwieranie za pomocą: otwiera zaznaczony tekst w edytorze tekstów, takim jak Notatnik
  • Wyszukiwanie w Internecie: wyszukiwanie zaznaczonego tekstu za pomocą programów Microsoft Edge i Bing

Gdy wyróżniony tekst jest adresem e-mail, możesz skopiować tekst lub:

  • Wysyłanie wiadomości e-mail: używa domyślnej aplikacji poczty e-mail do otwierania nowej wiadomości e-mail na wybrany adres e-mail
  • Wyślij wiadomość za pomocą aplikacji Teams: otwiera wiadomość w aplikacji Teams, używając wybranego adresu e-mail jako adresata
  • Zaplanuj spotkanie za pomocą aplikacji Teams: otwiera nowe zaproszenie do kalendarza aplikacji Teams z wybranym adresem e-mail jako uczestnikiem

Gdy wyróżniony tekst jest witryną internetową, możesz skopiować tekst lub otworzyć witrynę sieci Web.

  • Otwórz witrynę: otwiera wybraną witrynę internetową w domyślnej przeglądarce

Bardziej inteligentne akcje tekstowe są dostępne, gdy język domyślny jest ustawiony na angielski, zaznaczono co najmniej 10 wyrazów i zalogowano się za pomocą konta Microsoft lub konta Microsoft Entra. Inteligentne akcje tekstowe obsługiwane przez model Phi Silica w małym języku i NPU obejmują:

  • Podsumowanie: Krótkie przedstawienie głównych punktów zaznaczonego tekstu
  • Tworzenie listy punktowanej: tworzy listę punktowaną zawierającą szczegóły klucza z zaznaczonego tekstu
  • Rewrite (Casual): poprawia zaznaczony tekst, używając swobodnego tonu
  • Ponowne pisanie (formalne): poprawia zaznaczony tekst przy użyciu formalnego tonu
  • Przepisz (uściślij): poprawia zaznaczony tekst, wprowadzając ulepszenia gramatyczne
  • Wersja robocza z Copilot w Word: wysyła zaznaczony tekst do Copilot w Word
  • Ćwiczenia w Trenerze czytania: Otwiera Trenera czytania , gdzie można czytać zaznaczony tekst na głos. Trener czytania udostępnia opinie i wskazówki na temat tego, gdzie można ulepszyć wymowę.
  • Czytanie za pomocą Czytnik immersyjny: otwiera Trenera czytania i wyświetla zaznaczony tekst w środowisku nie rozpraszających uwagi. Tekst można odczytywać na głos, korzystać ze słownika obrazkowego i wyróżniać rzeczowniki, czasowniki i przymiotniki, aby ułatwić naukę gramatyki.

Kliknięcie w celu wykonania dodatkowych czynności z obrazami

Jeśli wybierzesz obraz, masz następujące opcje:

  • Kopiowanie: kopiuje obraz do schowka
  • Zapisz jako: Zapisz obraz w określonej lokalizacji
  • Udostępnianie: otwiera opcję udostępniania plików dla pliku obrazu
  • Otwórz za pomocą: Otwórz obraz za pomocą aplikacji, takiej jak Zdjęcia, Narzędzie Wycinanie lub Paint
  • Wyszukiwanie wizualne za pomocą usługi Bing: przeprowadza wyszukiwanie wizualne za pomocą usługi Bing przy użyciu domyślnej przeglądarki internetowej
  • Rozmyj tło za pomocą aplikacji Zdjęcia: Rozmyj tło za pomocą aplikacji Zdjęcia
  • Wymazywanie obiektów za pomocą aplikacji Zdjęcia: wymazywanie niechcianych obiektów na obrazie za pomocą aplikacji Zdjęcia
  • Usuwanie tła za pomocą programu Paint: usuwanie tła obrazu za pomocą programu Paint

Porada

Jeśli nie widzisz opcji aplikacji Zdjęcia Microsoft lub Paint, upewnij się, że masz zainstalowaną najnowszą wersję aplikacji ze sklepu Microsoft Store. 

Zrzut ekranu przedstawiający polecenie Kliknij, aby zrobić z wyświetlonym menu akcji obrazu.

Kliknij, aby zrobić więcej z zawartością

Gdy wyróżnisz tekst lub obrazy kliknięciem w celu wykonania, możesz wybrać opcję Zapytaj Copilota. Możesz dodać własny monit, aby przejść wraz z wyróżnioną zawartością lub wybrać sugestię monitu.  Aplikacja Copilot zostanie otwarta z zawartością w polu monitu. Następnie copilot staje się dostawcą do wykonania akcji, ponieważ wybrana zawartość jest przekazywana z Click to Do do Copilot.

Jeśli urządzenie należy do organizacji służbowej lub szkolnej, zamiast pozycji Zapytaj Copilot jest wyświetlana pozycja Zapytaj Microsoft 365 Copilot. Ta akcja umożliwia Microsoft 365 Copilot adresów zapytań. Zapytaj Microsoft 365 Copilot wymaga licencji na platformę Microsoft 365 i przestrzega zasad ochrony prywatności Twojej organizacji.

Wyłączanie funkcji Klikanie w celu wykonania za pomocą Copilot+ PC

Domyślnie funkcja Kliknij w celu wykonania jest włączona dla komputerów Copilot+. Nie można go usunąć, ale można go wyłączyć lub włączyć z następującej lokalizacji:

  1. Otwórz ustawienia, a następnie przejdź do pozycji Prywatność> & zabezpieczenia >Kliknij, aby zrobić.

  2. Ustawienie Kliknij, aby wykonać następujące czynności:

    • Włączone: Kliknięcie w celu wykonania jest włączone (domyślne)
    • Wyłączone: Kliknięcie w celu wykonania jest wyłączone

Gdy polecenie Kliknij w celu wykonania jest wyłączone, naciśnięcie klawiszaWindowsLogo + kliknięcie myszą, klawiszWindowsLogo + Q i szybkie przesunięcie prawym przyciskiem na komputerach z obsługą dotyku nie spowoduje otwarcia aplikacji Click to Do. Nadal mogą być widoczne opcje otwierania polecenia Kliknij, aby zrobić z innych lokalizacji, takich jak narzędzie Wycinanie, ale po jego wybraniu zostanie wyświetlony błąd Nie można otworzyć polecenia Kliknij, aby zrobić

Kliknij pozycję Do odmian regionalnych

Funkcje aplikacji Click to Do różnią się w zależności od regionu i ustawień językowych urządzenia. Zrozumienie tych odmian może pomóc w efektywnym korzystaniu z narzędzia w różnych środowiskach. Poniżej przedstawiono najważniejsze różnice między regionami:

Europejski Obszar Gospodarczy (EOG)

  • Wyszukiwanie w Internecie: używa programów Microsoft Edge i Bing do wykonywania wyszukiwań.
  • Wyszukiwanie wizualne w usłudze Bing: niedostępne.
  • Usuwanie tła za pomocą programu Paint: zaawansowane funkcje obrazów, takie jak Rozmycie, Usuwanie i Wymazywanie, są obecnie niedostępne.
  • Zapytaj Copilot: niedostępne.
  • Akcje aplikacji Microsoft Teams: funkcje, takie jak wysyłanie wiadomości i planowanie spotkań za pomocą aplikacji Teams, nie są dostępne.
  • Ćwicz z Trenerem Czytania: niedostępne.
  • Czytaj w Czytniku immersyjnym: niedostępne.
  • Utwórz wersję roboczą z funkcją Copilot w programie Word : niedostępne.

Chiny

  • Wyszukiwanie w Internecie: ze względu na wymagania prawne do przeprowadzania wyszukiwania mogą być używane lokalne wyszukiwarki.
  • Wyszukiwanie wizualne w usłudze Bing: Dostęp do funkcji wyszukiwania wizualnego za pomocą usługi Bing może się różnić w zależności od lokalnych przepisów.
  • Zapytaj Copilot: niedostępne.
  • Utwórz wersję roboczą z funkcją Copilot w programie Word : niedostępne.
  • Podsumowanie: niedostępne.
  • Tworzenie listy punktowanej: niedostępne.
  • Przepisz (formalne): niedostępne.
  • Przepisz (uściślij): niedostępne.

Kliknij, aby uwzględnić kwestie dotyczące prywatności

Gdy wybierzesz opcję wysłania informacji z funkcji „Kliknij, aby wykonać” do aplikacji, takiej jak Paint, funkcja „Kliknij, aby wykonać” tymczasowo zapisze te informacje w celu zakończenia transferu. Funkcja „Kliknij, aby wykonać” tworzy plik tymczasowy w następującej lokalizacji:

  • C:\Users\{username}\AppData\Local\Temp

Pliki tymczasowe mogą być również zapisywane po wybraniu opcji „Wyślij opinię”. Te pliki tymczasowe nie są zapisywane długoterminowo. Funkcja „Kliknij, aby wykonać” nie zachowuje żadnych treści z ekranu po wykonaniu żądanej czynności. Jednak plik obrazu może zostać tymczasowo zapisany do momentu całkowitego zakończenia procesu lub rozpoczęcia nowej czynności. Niektóre dane diagnostyczne są również zbierane w celu zapewnienia bezpieczeństwa, aktualności i prawidłowego działania funkcji „Kliknij, aby wykonać”.

Kliknij, aby zrobić bardziej inteligentne akcje tekstowe, w tym Summarize, Create a bulleted list, Rewrite (Casual), Rewrite (Formal), and Rewrite (Refine), są obsługiwane przez najnowocześniejszy mały model językowy o nazwie Phi Silica. Rozwiązanie Phi Silica wykorzystuje procesor NPU, a model językowy działa lokalnie na Copilot+ PCs. Modele Phi Silica jest dostarczane wraz z systemem Windows na Copilot+ PCs. 

Gdy użytkownik kliknie tekst „Kliknij, aby wykonać”, zaznaczony tekst i wybrana akcja zostaną przesłane do modelu Phi Silica jako część polecenia. Model Phi Silica działa na urządzeniu lokalnie. Phi Silica inteligentnie przepisuje wybrany tekst zgodnie z żądaniem użytkownika i przesyła odpowiedź z modelu. Phi Silica zapewnia odpowiedzi szybko i wydajnie przy użyciu bardzo małej mocy. Aby uzyskać więcej informacji, zobacz Phi Silica, small but mighty on-device SLM

Zgodnie z zobowiązaniem firmy Microsoft dotyczącym prywatności i bezpieczeństwa danych wszystkie zapisane obrazy i przetworzone dane są przechowywane na urządzeniu i przetwarzane lokalnie. Jednak funkcja „Kliknij, aby wykonać” pozwala wybrać, czy chcesz uzyskać więcej informacji o wybranych treściach online. Po wybraniu jednej z poniższych czynności „Kliknij, aby wykonać” wybrana zawartość zostanie wysłana z urządzenia lokalnego do dostawcy online w celu realizacji żądania:

  • Wyszukaj w sieci Web: wysyła wybraną treść do wyszukiwarki Bing za pomocą przeglądarki Microsoft Edge
  • Otwórz witrynę: otwiera wybraną witrynę internetową w domyślnej przeglądarce
  • Wyszukiwanie wizualne za pomocą usługi Bing: wysyła wybraną zawartość do wyszukiwania wizualnego Bing przy użyciu przeglądarki domyślnej

Aby uzyskać więcej informacji na temat prywatności w przypadku aplikacji Click to Do, zobacz Oświadczenie o ochronie prywatności firmy Microsoft.

Zobowiązanie firmy Microsoft do odpowiedzialnej sztucznej inteligencji

Firma Microsoft odpowiedzialnie pracuje nad rozwojem sztucznej inteligencji od 2017 roku, kiedy po raz pierwszy zdefiniowaliśmy nasze zasady sztucznej inteligencji, a później powiązaliśmy z operacjami nasze podejście za pośrednictwem naszego standardu odpowiedzialnej sztucznej inteligencji. Prywatność i bezpieczeństwo to podstawowe zasady, którymi kierujemy się podczas opracowywania i wdrażania systemów sztucznej inteligencji. Pomagamy naszym klientom w odpowiedzialnym korzystaniu z naszych produktów sztucznej inteligencji, udostępnianiu naszych doświadczeń i tworzeniu relacji partnerskich opartych na zaufaniu. Aby uzyskać więcej informacji o naszych odpowiedzialnych działaniach w zakresie SI, zasadach, które nas kierują, oraz o narzędziach i możliwościach, które stworzyliśmy, aby zapewnić odpowiedzialny rozwój technologii AI, zobacz Odpowiedzialna SI.

Aby wyjaśnić działanie każdej funkcji sztucznej inteligencji, ważne jest, aby zrozumieć jej możliwości i ograniczenia. Musisz zrozumieć dostępne opcje funkcji AI oraz odpowiedzialność związaną z tymi wariantami.

Funkcja „Kliknij, aby wykonać” sugeruje działania, które możesz podjąć, a Ty możesz wybrać aplikacje, które będą dostawcami tych działań (jeśli dotyczy). Po wybraniu działania i dostawcy odpowiedzialność za wyniki tego działania spoczywa na dostawcy. Na przykład z menu opcji „Kliknij, aby wykonać” można wybrać akcję „Usuń tło za pomocą programu Paint”, co oznacza, że jako dostawcę tej akcji wybrano program Paint.  Po wybraniu akcji z menu kontekstowego opcji „Kliknij, aby wykonać” uruchamia się aplikacja Paint, a wybrany obraz jest przetwarzany przez program Paint. 

Funkcja „Kliknij, aby wykonać” wykorzystuje technologię optycznego rozpoznawania znaków (OCR) na komputerze użytkownika w celu wykrycia elementów tekstowych na zrzutach ekranu. Aby uzyskać więcej informacji na temat funkcji OCR, zobacz Uwaga dotycząca przezroczystości i przypadki użycia funkcji OCR

Inteligentne akcje tekstowe funkcji Kliknij, aby wykonać oraz sugestie poleceń funkcji Copilot wykorzystują niewielki model językowy o nazwie Phi Silica. Aby uzyskać więcej informacji na temat Krzemionki Phi, zobacz Rozpoczynanie pracy z krzemionką Phi w zestawie Zestaw SDK do aplikacji systemu Windows. Aby uzyskać informacje na temat zasad odpowiedzialnej AI kierujących wdrożeniem Phi Silica oraz środków bezpieczeństwa obowiązujących podczas korzystania z modeli języków generowania, zobacz Odpowiedzialna generowanie rozwoju SI w systemie Windows

Modele „Kliknij, aby wykonać” zostały poddane ocenie uczciwości, wraz z kompleksowymi ocenami odpowiedzialnej sztucznej inteligencji, zabezpieczeń i prywatności, aby upewnić się, że technologia jest skuteczna i sprawiedliwa, a jednocześnie zgodna z najlepszymi rozwiązaniami odpowiedzialnej sztucznej inteligencji firmy Microsoft.