Использование Copilot Vision с Microsoft Copilot

Как Copilot Визуальное распознавание обрабатывает ваши данные 

Copilot Визуальное распознавание активируется только при запуске сеанса визуального распознавания. Он обрабатывает ваши данные в соответствии с Заявлением корпорации Майкрософт о конфиденциальности.   

При использовании визуального распознавания регистрируются только ответы Copilot, чтобы обеспечить мониторинг небезопасных взаимодействий и выходных данных. Входные данные пользователя, изображения и содержимое страницы не регистрируются и не сохраняются.  После завершения сеанса голосовой связи эти данные удаляются.   

Визуальное распознавание не взаимодействует напрямую с компьютером, Интернетом или телефоном от вашего имени— оно позволяет отвечать на вопросы, а не предпринимать какие-либо действия. Copilot Визуальное распознавание может выделять части экрана, чтобы помочь вам найти важную информацию. Он не будет щелкать, вводить текст или прокручиваться от вашего имени. 

При первом использовании Визуального распознавания в Windows, MacOS, Edge и Copilot Mobile Copilot попросит вас подтвердить уведомление о конфиденциальности.   

Визуальное распознавание недоступно для коммерческих пользователей, вошедшего в Copilot или Edge с помощью учетной записи Entra идентификатора. 

Использование Copilot визуального распознавания в Windows 

Copilot Vision позволяет делиться выбранными окнами браузера или приложениями с Copilot во время активного сеанса. Copilot может ответить на вопросы о том, чем вы хотите поделиться, и предоставить пошаговые инструкции.

Пока сеанс визуального распознавания активен, Copilot может ответить на вопросы о приложении или окнах браузера, которыми вы поделились во время активного сеанса, даже если они больше не открыты перед вами. Когда сеанс визуального распознавания завершается, Copilot немедленно прекращает наблюдение, и весь общий контекст очищается.

Copilot Визуальное распознавание работает с любым приложением в Windows. Однако если содержимое содержит опасный материал или материал, защищенный DRM, Copilot не сможет проанализировать его. 

Вот как это использовать: 

• Инициируйте сеанс Copilot визуального распознавания в приложении Copilot, щелкнув значок очков в композиторе.

• Выберите экран или приложение, которым вы хотите поделиться с Copilot. Пока Copilot Vision активен, вы увидите светящийся оранжевый контур вокруг общего экрана или приложения.
  
  Примечание: Одновременно можно выбрать только два приложения.

• Визуальное распознавание запускается с Запуском с текстом, включенным по умолчанию. Состояние зрения и элементы управления отображаются на закрепленной панели Copilot. Вы можете пообщаться с Copilot и задать вопросы о том, что вы видите в общем приложении.

• Если переключить переключатель на Начать с голоса, на плавающей панели инструментов отображаются элементы управления "Визуальное распознавание" и "Голос". Вы услышите звук приветствия Copilot. Затем вы можете проговорить голосовую беседу с Copilot и задать вопросы о том, что вы видите в общем приложении.

• Вы можете отключить звук, щелкнув значок микрофона, который отключает микрофон и останавливает прослушивание Copilot. Щелкните значок микрофона еще раз, чтобы возобновить работу.

• Если вы спросите Copilot Визуальное распознавание за помощью в использовании определенного приложения, он может показать, что курсор выделения на экране, чтобы указать что-то. Визуальное распознавание не будет выполнять действия на вашем компьютере за вас, но оно может объяснить и показать, что вам следует делать дальше.

• Когда вы будете готовы к завершению сеанса Copilot Vision, нажмите кнопку Остановить на плавающей панели инструментов. По завершении сеанса Copilot немедленно прекращает наблюдение.

ИспользованиеCopilot визуального распознавания в Edge 

Copilot Визуальное распознавание работает с большинством сайтов, за исключением сайтов, содержащих вредоносное содержимое или содержимое для взрослых.  При посещении сайта, который Copilot Визуальное распознавание не поддерживает, Copilot Composer в нижней части экрана будет отображать неактивный значок и скрещенные очки, а модель откажется обсуждать содержимое страницы. 

Вот как это использовать: 

• Войдите в Edge с помощью личной учетной записи Майкрософт. Узнайте, как выполнить вход и создать несколько профилей в Microsoft Edge, если вы не делали этого ранее.

• Перейдите в Edge к веб-сайту, видео или pdf-документу, о которой вы хотите задать вопросы.

• Нажмите значок Copilot в правом верхнем углу edge, чтобы открыть Copilot на боковой панели Edge.

• Нажмите кнопку Голос , чтобы задать вопрос.
  
  Примечание: Пока продолжается сеанс визуального распознавания, вы увидите плавающую панель инструментов со значком очков , указывающим, что вы находитесь в активном сеансе визуального распознавания. Copilot Визуальное распознавание будет оставаться во время просмотра различных страниц до завершения сеанса визуального распознавания.

• Copilot Визуальное распознавание будет смотреть на страницу, а затем позволит вам естественно поговорить с Copilot о содержимом.

• Сеанс визуального распознавания можно завершить, закрыв плавающую Copilot панели инструментов или закрыв окно Edge.

Использование Copilot визуального распознавания на мобильных устройствах 

Доступ к Copilot Vision можно получить в мобильном приложении Copilot на устройствах iOS и Android.   

Copilot Визуальное распознавание отвечает на вопросы в зависимости от того, что он видит через камеру мобильного устройства.

Вот как это использовать: 

• В мобильном приложении Copilot коснитесь значка очков , чтобы начать сеанс Copilot визуального распознавания.  Это приведет к запуску камеры мобильного устройства.
  
  Примечание: Сначала необходимо предоставить приложению Copilot разрешение на доступ к камере устройства, чтобы использовать эту функцию.

• Поговорите с Copilot и задавайте вопросы о том, что вы видите через камеру или на экране. Copilot Визуальное распознавание будет оставаться в силе до завершения сеанса визуального распознавания.

• Чтобы завершить сеанс Copilot визуального распознавания, коснитесь значка X .