Использование Зрения Copilot с Microsoft Copilot

Зрение Microsoft Copilot — это новый способ взаимодействия с ИИ при использовании компьютера с Windows или Mac, просмотре веб-страниц в Microsoft Edge или просмотре окружающего мира с телефона. Он действует как вторая пара глаз, которые могут сканировать, анализировать и предлагать аналитику на основе того, что видит Copilot. Когда вы начинаете сеанс Машинного зрения Copilot, Copilot может просматривать экран, приложение, страницу или канал мобильной камеры, которым вы хотите поделиться, а затем использовать голос Copilot, чтобы отвечать на вопросы и направлять вас через то, что вы видите.

Примечание

Зрение Copilot не использует данные из сеанса Vision для обучения наших моделей. Данные сеанса могут храниться временно в течение 47 часов для поддержки отзывов, отправленных пользователями, а затем автоматически удаляться, если отзывы не будут отправлены. Расшифровка вашего разговора с Вижном сохраняется в журнале чата, чтобы вы могли вернуться к ней позже. Журнал бесед не используется для обучения или персонализации, и вы можете удалить его в любое время.

Доступность функции "Зрение Copilot" может отличаться во время выпуска. Фотопоиск доступен во всех поддерживаемых регионах и на всех языках . Доступ к нему можно получить из Windows, Edge и мобильного приложения Copilot на iOS и Android. Чтобы получить доступ к Зрению Copilot, необходимо подписаться на Microsoft 365 персональный, для семьи или премиум.

Как Зрение Copilot обрабатывает ваши данные

Зрение Copilot активно, только когда вы запускаете сеанс Vision Он обрабатывает ваши данные в соответствии с заявлением о конфиденциальности Майкрософт.

При использовании Vision ответы Copilot могут регистрироваться для отслеживания небезопасных взаимодействий и выходных данных. Вводимые пользователем данные, изображения, аудио и содержимое общих страниц не используются для обучения моделей или персонализации взаимодействия. Данные сеанса могут храниться временно в течение 47 часов для поддержки отзывов, отправленных пользователями, а затем автоматически удаляться, если отзывы не будут отправлены.

Фотопоиск не взаимодействует напрямую с вашим компьютером, Интернетом или телефоном от вашего имени. Он там для того, чтобы отвечать на вопросы и направлять вас, а не для того, чтобы предпринимать действия за вас. Зрение Copilot может выделять фрагменты экрана, чтобы помочь вам найти нужную информацию, но не щелкает, не вводит текст и не прокручивает от вашего имени.

При первом использовании Vision в Windows, macOS, Edge или Copilot Mobile Copilot попросит вас ознакомиться с уведомлением о конфиденциальности.

Vision доступен коммерческим пользователям, вошедшим в систему со своим идентификатором Entra в веб-приложении и мобильном приложении Copilot.

Использование Vision Copilot в Windows

Зрение Copilot позволяет делиться выбранными окнами браузера или приложениями с Copilot во время активного сеанса. Copilot может ответить на вопросы о том, чем вы решили поделиться, и предоставить пошаговые инструкции.

Пока сеанс Vision активен, Copilot может отвечать на вопросы об окнах приложения или браузера, которыми вы поделились, даже если они больше не открыты перед вами. По завершении сеанса Vision Copilot немедленно прекращает наблюдение за содержимым, которым вы поделились, и общий контекст больше не доступен активному сеансу Vision.

Зрение Copilot работает с любым приложением в Windows. Однако если содержимое содержит вредный или защищенный DRM материал, Copilot не сможет его проанализировать.

Чтобы использовать Зрение Copilot в Windows:

  1. Начать голосовой звонок в Copilot. По умолчанию функция Vision отключена.
  2. Чтобы добавить Vision в голосовой сеанс, выберите "Демонстрация экрана".
  3. Выберите экран или приложение, которым нужно поделиться с Copilot. Когда Зрение Copilot активно, вы увидите контур вокруг демонстрируемого экрана или приложения. Вы можете делиться двумя приложениями одновременно.
  4. Убедитесь, что микрофон и звук включены. Зрение Copilot использует голосовой ввод и вывод, чтобы отвечать на вопросы о содержимом, которым вы делитесь.
  5. Появится перемещаемая панель инструментов с элементами управления обзором и голосом. Copilot поприветствует вас, и вы сможете начать задавать вопросы о совместном контенте.
  6. Чтобы отключить свой микрофон, выберите значок микрофона значок микрофона . Это перестанет прослушивать Copilot. Чтобы возобновить работу, нажмите значок микрофона еще раз.
  7. Чтобы завершить сеанс Фотообзора, выберите "Стоп " на перемещаемой панели инструментов. По окончании сеанса Copilot немедленно прекращает наблюдение за общим контентом.

Использование Vision Copilot в Edge

Зрение Copilot работает с большинством сайтов и страниц, за исключением тех, которые содержат вредоносный контент или контент для взрослых. При посещении сайта, который не поддерживается Зрением Copilot, в редакторе Copilot в нижней части экрана будет показан серый значок, и Copilot не будет обсуждать содержимое страницы.

Чтобы использовать Зрение Copilot в Edge:

  1. Войдите в Edge, используя свою личную учетную запись Майкрософт.
  2. Выберите значок Copilot на панели инструментов Edge.
  3. Нажмите кнопку "Голос (волны)" Кнопка ".
  4. Начните голосовой сеанс с Copilot.
  5. Выберите "Демонстрация экрана", чтобы добавить Vision в голосовой сеанс.
  6. Перейдите к любому поддерживаемому веб-сайту, видео или PDF-файлу, о котором хотите спросить Copilot. При использовании Vision панель инструментов на боковой панели Copilot сообщает о том, что сеанс Vision активен. Видение остается с вами, когда вы переходите от страницы к странице, пока вы не будете готовы завершить сеанс.
  7. Задавайте Copilot вопросы о просматриваемой странице или содержимом.
  8. Чтобы остановить сеанс, нажмите X на панели инструментов в нижней части окна Copilot, закройте боковую панель Copilot или закройте Microsoft Edge.

Использование Фотопоиска Copilot на мобильных устройствах

Примечание

Функции Машинного зрения для мобильных устройств скоро будут развернуты. Зрение мобильного устройства и демонстрация экрана постепенно включаются на устройствах iOS и Android, поэтому во время развертывания эти функции могут отличаться у разных пользователей.

Вы можете получить доступ к Зрение Copilot в мобильном приложении Copilot на устройствах с iOS и Android. Зрение Copilot отвечает на вопросы на основе того, что видит через камеру или экран мобильного устройства.

Чтобы использовать Зрение Copilot на мобильных устройствах:

  1. В мобильном приложении Copilot начните голосовой сеанс с Copilot, а затем выберите "Демонстрация экрана". При этом включится камера вашего мобильного устройства.
    • Чтобы использовать эту функцию, необходимо предоставить приложению Copilot разрешение на доступ к камере устройства.
  2. Поговорите с Copilot и задайте вопросы о том, что вы видите через камеру или на экране. Зрение Copilot остается включенным до завершения сеанса Vision.
  3. Чтобы завершить сеанс Vision Copilot, выберите X.