Microsoft Copilot Vision — это новый способ работы СИ при использовании компьютера с Windows или Mac, навигации в Интернете в Microsoft Edge или просмотра мира с телефона.  Это как второй набор глаз, который может мгновенно сканировать, анализировать и предлагать аналитические сведения на основе того, что видит Copilot.  Когда вы активируете Copilot Vision, Copilot может просматривать ваш экран или канал мобильной камеры и использовать Copilot Voice, чтобы отвечать на вопросы и взаимодействовать с вами. 

Примечание: Зрение Copilot не собирает, не хранит и не использует данные для обучения моделей.  Изображения не сохраняются, не расшифровываются и не записываются в журнал.  После завершения сеанса Зрение Copilot все изображения, аудио и контекст удаляются.  Ответы модели хранятся для мониторинга небезопасных взаимодействий.  Стенограмма беседы с приложением Vision хранится в журнале бесед, но не используется для обучения или персонализации.  Вы можете удалить журнал чата в любое время.

Зрение Copilot доступна во всех поддерживаемых регионах и языках и доступна из Windows, Edge и мобильное приложение Copilot (iOS и Android).  Чтобы получить доступ к Службе визуального распознавания, необходимо войти в Copilot.

Подписчики Microsoft 365 персональный, семьи и premium получают расширенные ограничения на использование Vision.   

Как Copilot Визуальное распознавание обрабатывает ваши данные 

Copilot Визуальное распознавание активируется только при запуске сеанса визуального распознавания. Он обрабатывает ваши данные в соответствии с Заявлением корпорации Майкрософт о конфиденциальности.   

При использовании визуального распознавания регистрируются только ответы Copilot, чтобы обеспечить мониторинг небезопасных взаимодействий и выходных данных. Входные данные пользователя, изображения и содержимое страницы не регистрируются и не сохраняются.  После завершения сеанса голосовой связи эти данные удаляются.   

Визуальное распознавание не взаимодействует напрямую с компьютером, Интернетом или телефоном от вашего имени— оно позволяет отвечать на вопросы, а не предпринимать какие-либо действия. Copilot Визуальное распознавание может выделять части экрана, чтобы помочь вам найти важную информацию. Он не будет щелкать, вводить текст или прокручиваться от вашего имени. 

При первом использовании Визуального распознавания в Windows, MacOS, Edge и Copilot Mobile Copilot попросит вас подтвердить уведомление о конфиденциальности.   

Визуальное распознавание недоступно для коммерческих пользователей, вошедшего в Copilot или Edge с помощью учетной записи Entra ID. 

Использование Copilot визуального распознавания в Windows 

Используя Copilot в Windows, вы можете позволить Визуальному распознаванию видеть окна браузера или приложения, открытые на экране. Copilot Затем визуальное распознавание может ответить на вопросы или помочь вам сделать что-то шаг за шагом. 

Copilot Визуальное распознавание работает с любым приложением в Windows. Однако если содержимое содержит опасный материал или материал, защищенный DRM, Copilot не сможет проанализировать его. 

Вот как это использовать: 

  • Инициируйте сеанс Copilot визуального распознавания в приложении Copilot, щелкнув значок очков Значок "Пара черных очков"в композиторе.

  • Выберите приложение Windows, к которому вы хотите поделиться с Copilot или Примечание. Одновременно можно выбрать только два приложения.

  • Появится плавающая панель инструментов с элементами управления Copilot "Голос" и "Зрение", и Copilot воспроизводит звуковое приветствие.  На этом этапе вы можете проговорить голосовую беседу с Copilot и задать вопросы о том, что вы видите в общем приложении.

  • Вы можете отключить звук, щелкнув значок микрофона, который отключит микрофон и остановит прослушивание Copilot. Если снова щелкнуть значок микрофона, вы сможете возобновить беседу.

  • Если вы спросите Copilot Визуальное распознавание за помощью в использовании определенного приложения, он может показать, что курсор выделения Курсорна экране, чтобы указать что-то. Визуальное распознавание не будет выполнять действия на вашем компьютере за вас, но оно может объяснить и показать, что вам следует делать дальше.

  • Когда вы будете готовы к завершению сеанса визуального распознавания Copilot, нажмите кнопку Остановить на плавающей панели инструментов.

ИспользованиеCopilot визуального распознавания в Edge 

Copilot Визуальное распознавание работает с большинством сайтов, за исключением сайтов, содержащих вредоносное содержимое или содержимое для взрослых.  При посещении сайта, который Copilot Визуальное распознавание не поддерживает, Copilot Composer в нижней части экрана будет отображать неактивный значок и скрещенные очки, а модель откажется обсуждать содержимое страницы. 

Вот как это использовать: 

  • Войдите в Edge с помощью личной учетной записи Майкрософт. Узнайте, как выполнить вход и создать несколько профилей в Microsoft Edge, если вы не делали этого ранее.

  • Перейдите в Edge к веб-сайту, видео или pdf-документу, о которой вы хотите задать вопросы.

  • Нажмите значок Copilot Снимок экрана: значок Copilot.в правом верхнем углу edge, чтобы открыть Copilot на боковой панели Edge.

  • Нажмите кнопку Голос Значок микрофона Teams , чтобы задать вопрос.Заметка: Пока продолжается сеанс визуального распознавания, вы увидите плавающую панель инструментов со значком очков Значок "Пара черных очков", указывающим, что вы находитесь в активном сеансе визуального распознавания. Copilot Визуальное распознавание будет оставаться во время просмотра различных страниц до завершения сеанса визуального распознавания.

  • Copilot Визуальное распознавание будет смотреть на страницу, а затем позволит вам естественно поговорить с Copilot о содержимом.

  • Сеанс визуального распознавания можно завершить, закрыв плавающую Copilot панели инструментов или закрыв окно Edge.

Использование Copilot визуального распознавания на мобильных устройствах 

Доступ к Зрение Copilot можно получить в мобильном приложении Copilot на устройствах iOS и Android.   

Copilot Визуальное распознавание отвечает на вопросы в зависимости от того, что он видит через камеру мобильного устройства.

Вот как это использовать: 

  • В мобильном приложении Copilot коснитесь значка очков Значок "Пара черных очков" , чтобы начать сеанс Copilot визуального распознавания.  Это приведет к запуску камеры мобильного устройства.Заметка: Сначала необходимо предоставить приложению Copilot разрешение на доступ к камере устройства, чтобы использовать эту функцию.

  • Поговорите с Copilot и задавайте вопросы о том, что вы видите через камеру или на экране. Copilot Визуальное распознавание будет оставаться в силе до завершения сеанса визуального распознавания.

  • Чтобы завершить сеанс Copilot визуального распознавания, коснитесь значка X .

Нужна дополнительная помощь?

Нужны дополнительные параметры?

Изучите преимущества подписки, просмотрите учебные курсы, узнайте, как защитить свое устройство и т. д.