"Действие щелчком": другие возможности работы с элементами на экране

Применяется к
Windows 11

Действие щелчком помогает быстрее выполнять задачи, определяя текст и изображения на экране, с которыми можно выполнять действия. Действие щелчком анализирует содержимое экрана, после чего можно выбрать текст или изображение, с которым нужно выполнить действие. 

Анализ этого снимка экрана всегда выполняется локально на вашем устройстве. Анализ начинается только после того, как вы активно взаимодействуете с функцией "Действие щелчком", и заканчивается при выходе из функции "Действие щелчком". Действие щелчком идентифицирует только текст и изображения, но не содержимое этих текста или изображений. Он не анализирует содержимое, например, в свернутых приложениях, которых нет на экране.    

Общий доступ к содержимому предоставляется только в том случае, если вы решите выполнить действие, например выполнить поиск в Интернете. Вы заметите, что когда активна функция "Действие щелчком", курсор сине-белый. Курсор также меняет форму в зависимости от типа сведений под ним. Возможные действия со сведениями меняются в зависимости от типа содержимого, обнаруженного функцией "Действие щелчком".

Действие щелчком проанализировало содержимое экрана, а пользователь выбрал текст для выполнения действия.

Требования к системе для Copilot+ PC

Copilot+ PC или соответствующий облачный компьютер

  • 40 TOPS NPU (нейронный процессор)
  • 16 ГБ ОЗУ
  • 8 логических процессоров
  • Емкость хранилища 256 ГБ

Чтобы отобразить точку входа "Действие щелчком" из Ножниц, требуется Ножницы версии 11.2411.20.0 или более поздней.

Использование функции "Действие щелчком"

Просто используйте клавишу WindowsWindows Logo + щелчок мышью или клавишу WindowsWindows Logo + Q для входа Click to Do и выполнения действий с выбранным щелчком. Вы также можете ввести функцию "Действие щелчком", используя прокрутку правой кнопкой мыши на компьютерах с сенсорным экраном или из меню приложения "Ножницы ", если установлено приложение "Ножницы ". При необходимости вы также можете выполнить поиск "Действие щелчком " в Windows Search , чтобы выбрать элементы и выполнить действия с ними. 

При первом запуске Действия щелчком вам будет предложено краткое интерактивное руководство о том, как быстрее выполнять задачи. Вы можете вернуться к руководству в любое время, выбрав ..., а затем Начать обучение

Если вы ИТ-администратор и вам нужны дополнительные сведения, см. Управление функцией "Действие щелчком".

Действие щелчком расширяет возможности работы с текстом

При выделении текста с помощью функции "Действие щелчком" вам будут предоставлены следующие параметры:

  • Копировать: копирование выбранного текста в буфер обмена
  • Открыть с помощью: открывает выделенный текст в текстовом редакторе, например в Блокноте
  • Поиск в Интернете: поиск выделенного текста с помощью Microsoft Edge и Bing

Если выделенный текст является адресом электронной почты, вы можете скопировать текст или:

  • Отправить сообщение: использует почтовое приложение по умолчанию, чтобы открыть новое сообщение на выбранный адрес электронной почты
  • Отправить сообщение с помощью Teams: открывает сообщение Teams с выбранным адресом электронной почты в качестве получателя
  • Запланировать собрание в Teams: открывает новое приглашение календаря Teams с выбранным адресом электронной почты в качестве участника

Если выделенный текст является веб-сайтом, вы можете либо скопировать текст, либо открыть веб-сайт.

  • Открыть веб-сайт: открывает выбранный веб-сайт в браузере по умолчанию

Более интеллектуальные текстовые действия доступны, если в качестве языка по умолчанию установлен английский, выбрано не менее 10 слов и вы вошли в систему с учетной записью Microsoft или учетной записью Microsoft Entra. Интеллектуальные текстовые действия, основанные на малой языковой модели Phi Silica и NPU, включают:

  • Резюме: кратко излагает основные моменты выбранного текста
  • Создание маркированного списка: Создает маркированный список основных сведений из выделенного текста
  • Переписывание (повседневное): изменение выбранного текста в непринужденном тоне.
  • Переписывание (формально): изменение выбранного текста с использованием формального тона
  • Переписывание (уточнение): изменение выбранного текста с улучшением грамматики
  • Создание черновика средствами Copilot в Word: отправляет выделенный текст в Copilot в Word
  • Практика в Тренировке по чтению: открывает Тренировку чтения , где можно прочитать выбранный текст вслух. "Обучение чтению" предоставляет обратную связь и выдает рекомендации по улучшению произношения.
  • Чтение с помощью иммерсивного средства чтения: открывает Обучение чтению, где выбранный текст отображается без отвлекающих факторов. Можно читать текст вслух, использовать словарь с картинками и выделять существительные, глаголы и прилагательные для изучения грамматики.

Действие щелчком делает больше с изображениями

При выборе изображения вам будут предоставлены следующие параметры:

  • Копировать: копирование изображения в буфер обмена
  • Сохранить как: сохранение изображения в указанном расположении
  • Общий доступ: открывает параметр предоставления общего доступа к файлам изображения
  • Открыть с помощью: откройте изображение с помощью приложения, например "Фотографии", " Ножницы" или Paint
  • Визуальный поиск с помощью Bing: визуальный поиск с помощью Bing , используя стандартный веб-браузер
  • Размытие фона с помощью приложения "Фотографии". Размытие фона с помощью приложения "Фотографии"
  • Удаление объектов с помощью приложения "Фотографии". Удаляйте ненужные объекты на изображении с помощью приложения "Фотографии"
  • Удаление фона с помощью Paint. Удаление фона изображения с помощью Paint

Совет

Если вы не видите параметры для приложений «Фотографии (Майкрософт)» или «Paint», убедитесь, что установлена последняя версия приложения из Microsoft Store. 

Снимок экрана:

Действие щелчком расширяет возможности работы с содержимым

При выделении текста или изображений с помощью Click to Do вам предоставляется возможность задать вопрос Copilot. Вы можете добавить собственный запрос к выделенному содержимому или выбрать вариант запроса.  Copilot откроется с вашим содержимым в поле запроса. Затем Copilot становится поставщиком для завершения действия, поскольку выбранный контент передается из Действия щелчком в Copilot.

Если ваше устройство является частью организации вашей работы или учебного заведения, вместо «Спросить Copilot» отображается «Спросите Microsoft Copilot». Это действие позволяет Microsoft Copilot отвечать на ваши вопросы. Функция "Спросить Microsoft Copilot" требует лицензии Microsoft 365 и учитывает политики конфиденциальности вашей организации.

Отключение функции "Действие щелчком" на компьютере Copilot+ PC

По умолчанию функция "Действие щелчком" включена для компьютеров Copilot+ PC. Хотя его нельзя удалить, его можно отключить или включить из следующего расположения:

  1. Откройте "Параметры", а затем перейдите в раздел "Конфиденциальность & безопасность>" >"Действие щелчком".

  2. Для параметра "Действие щелчком " установите следующее значение:

    • Вкл.: Действие щелчком включено (по умолчанию)
    • Отключено: Действие щелчком отключено

Если функция "Действие щелчком" отключена, клавиша WindowsLogo + щелчок мышью, клавиша WindowsWindowsLogo + Q и прокрутка правой кнопкой мыши на компьютерах с поддержкой сенсорного ввода не открываются Действие щелчком. Возможно, вы по-прежнему будете видеть параметры открытия Действия щелчком из других расположений, таких как Ножницы, но при выборе этого пункта появится сообщение об ошибке "Не удалось открыть Действие щелчком ". 

Региональные варианты Действия щелчком

Функции Действия щелчком зависят от региона и языковых настроек устройства. Понимание этих различий поможет эффективно использовать инструмент в разных средах. Ниже приведены основные различия между регионами.

Регион Европейской экономической зоны (ЕЭЗ)

  • Поиск в Интернете: для выполнения поиска используется Microsoft Edge и Bing.
  • Визуальный поиск с помощью Bing: недоступно.
  • Удаление фона с помощью Paint: дополнительные функции изображений, например размытие, удаление и стирание, в настоящее время недоступны.
  • Спросить Copilot: недоступно.
  • Действия Microsoft Teams: такие функции, как отправка сообщений и планирование собраний с помощью Teams, недоступны.
  • Практика в "Обучение чтению": недоступно.
  • Чтение с "Иммерсивное средство чтения": недоступно.
  • Черновик с Copilot в Word: недоступно.

Китай

  • Поиск в Интернете: в соответствии с нормативными требованиями для выполнения поиска могут использоваться локальные поисковые системы.
  • Визуальный поиск с помощью Bing: доступ к функции визуального поиска в Bing может отличаться из-за местных нормативов.
  • Спросить Copilot: недоступно.
  • Черновик с Copilot в Word: недоступно.
  • Резюмировать: недоступно.
  • Создание маркированного списка: недоступно.
  • Переписать (формально): недоступно.
  • Переписать (уточнить): недоступно.

Рекомендации по конфиденциальности "Действие щелчком"

Когда вы решите отправить сведения из Действия щелчком в приложение, например Paint, Действие щелчком временно сохранит их для выполнения передачи. Действие щелчком создает временный файл в следующем расположении:

  • C:\Users\{username}\AppData\Local\Temp

Временные файлы также могут быть сохранены, когда вы выбираете отправку отзыва. Эти временные файлы не сохраняются надолго. Действие щелчком не сохраняет содержимое экрана после выполнения запрошенного действия. Однако файл изображения может быть временно сохранен до тех пор, пока процесс не будет полностью выполнен или не будет инициировано новое действие. Также собираются некоторые диагностические данные для обеспечения безопасности, актуальности и работоспособности Действия щелчком.

Действие щелчком предлагает более интеллектуальные текстовые действия, в том числе "Обобщить", " Создать маркированный список", "Переписать" (обычно), "Переписать" (формально) и "Переписать" (уточнить), работают на основе современной малой языковой модели под названием Phi Silica. Phi Silica использует нейропроцессор, а языковая модель запускается локально на Copilot+ PC. Phi Silica поставляется в папке "Входящие" с Windows на Copilot+ PC. 

Когда пользователь нажимает на текстовые действия Действия щелчком, выбранный текст и выбранное действие отправляются в Phi Silica как часть запроса. Phi Silica работает на устройстве локально. Phi Silica интеллектуально переписывает выбранный текст в соответствии с запросом пользователя и передает ответ из модели. Phi Silica реагирует быстро и эффективно, потребляя очень мало энергии. Для получения дополнительной информации см. Phi Silica, небольшой, но мощный SLM на устройстве

В соответствии с обязательствами Майкрософт по обеспечению конфиденциальности и безопасности данных все сохраненные изображения и обработанные данные хранятся на устройстве и обрабатываются локально. Однако Действие щелчком позволяет вам выбрать, хотите ли вы получить дополнительные сведения о выбранном вами контенте в Интернете. При выборе одного из следующих Действий щелчком выбранный контент отправляется сетевому провайдеру с локального устройства для выполнения вашего запроса:

  • Поиск в Интернете: отправляет выбранный контент Bing с помощью Microsoft Edge
  • Открыть веб-сайт: открывает выбранный веб-сайт в браузере по умолчанию
  • Визуальный поиск с помощью Bing: отправляет выбранное содержимое в визуальный поиск Bing с помощью браузера по умолчанию

Дополнительные сведения о конфиденциальности Действия щелчком см. в Заявлении о конфиденциальности Майкрософт.

Обязательства Майкрософт в области ответственного применения ИИ и конфиденциальности

Майкрософт работает над ответственным развитием ИИ с 2017 года, когда мы впервые определили наши принципы в области ИИ, а затем ввели в действие наш подход с помощью Стандарта ответственного применения ИИ. Конфиденциальность и безопасность — главные принципы для нас при разработке и развертывании систем ИИ. Мы работаем над тем, чтобы помочь нашим клиентам ответственно использовать наши продукты ИИ, делимся накопленным опытом и строим доверительные партнерские отношения. Дополнительные сведения о наших усилиях в области ответственного применения ИИ, принципах, которыми мы руководствуемся, а также об инструментах и возможностях, которые мы создали для обеспечения ответственного подхода к разработке технологий ИИ, см. в разделе "Ответственное применение ИИ".

Чтобы прояснить, как работает каждая функция ИИ, важно понимать ее возможности и ограничения. Вы должны понимать, какие возможности выбора вам доступны при использовании функции ИИ, а также какую ответственность вы несете за эти возможности.

Действие щелчком предлагает действия, которые вы можете выполнить, и вы можете выбрать приложения, которые будут поставщиками (если применимо) этих действий. После выбора действия и поставщика для этого действия, ответственность за результаты этого действия несет поставщик. Например, из меню Действия щелчком вы можете выбрать действие "Удалить фон с помощью Paint", что означает, что вы выбрали Paint в качестве поставщика для действия.  После выбора действия в контекстном меню Действия щелчком запускается приложение Paint, и выбранное изображение обрабатывается в Paint. 

Действие щелчком использует оптическое распознавание символов (OCR) на компьютере для обнаружения текстовых объектов на снимках экрана. Дополнительные сведения об OCR см. в примечании о прозрачности и примерах использования OCR

Интеллектуальные действия с текстом функции "Действие щелчком" и предложения запросов Copilot используют небольшую языковую модель под названием Phi Silica. Дополнительные сведения о Phi Silica см. в разделе Начало работы с Phi Silica в SDK Windows App. Сведения о принципах ответственного ИИ, лежащих в основе развертывания Phi Silica, и мерах безопасности, применяемых при использовании генеративных языковых моделей, см. в статье Ответственная разработка генеративного ИИ в Windows

Модели "Действие щелчком" прошли оценку справедливости, а также комплексную оценку ответственного применения ИИ, безопасности и конфиденциальности, чтобы убедиться, что технология эффективна и справедлива, а также соответствует лучшим методикам ответственного применения ИИ Майкрософт.