Microsoft Copilot Визуальное распознавание — это новый способ работы СИ при использовании компьютера с Windows или Mac, навигации в Интернете в Microsoft Edge или просмотра мира с телефона. Это как второй набор глаз, который может мгновенно сканировать, анализировать и предлагать аналитические сведения на основе того, что видит Copilot. Когда вы активируете Зрение Copilot, Copilot может просматривать ваш экран или канал мобильной камеры и использовать Copilot Voice для ответа на вопросы и взаимодействия с вами.
Примечание
Зрение Copilot не собирает, не хранит и не использует данные для обучения наших моделей. Изображения не сохраняются, не расшифровываются и не записываются в журнал. После завершения сеанса Зрение Copilot все изображения, аудио и контекст удаляются. Ответы модели хранятся для мониторинга небезопасных взаимодействий. Стенограмма беседы с приложением Vision хранится в журнале бесед, но не используется для обучения или персонализации. Вы можете удалить журнал чата в любое время.
Приложение Зрение Copilot доступно во всех поддерживаемых регионах и языках . Доступ к ней можно получить из Windows, Edge и мобильного приложения Copilot (iOS и Android). Чтобы получить доступ к Vision, необходимо войти в Copilot.
Подписчики Microsoft 365 персональный, семьи и premium получают расширенные ограничения на использование Vision.
Как Зрение Copilot обрабатывает ваши данные
Зрение Copilot активен только при запуске сеанса визуального распознавания. Он обрабатывает ваши данные в соответствии с Заявлением корпорации Майкрософт о конфиденциальности.
При использовании визуального распознавания регистрируются только ответы Copilot, чтобы обеспечить мониторинг небезопасных взаимодействий и выходных данных. Входные данные пользователя, изображения и содержимое страницы не регистрируются и не сохраняются. После завершения сеанса голосовой связи эти данные удаляются.
Визуальное распознавание не взаимодействует напрямую с компьютером, Интернетом или телефоном от вашего имени— оно позволяет отвечать на вопросы, а не предпринимать какие-либо действия. Зрение Copilot может выделить части экрана, чтобы помочь вам найти соответствующую информацию. Он не будет щелкать, вводить текст или прокручиваться от вашего имени.
При первом использовании Vision в Windows, MacOS, Edge и Copilot Mobile компания Copilot попросит вас подтвердить уведомление о конфиденциальности.
Визуальное распознавание недоступно для коммерческих пользователей, вошедшего в Copilot или Edge с помощью учетной записи Entra идентификатора.
Использование Зрение Copilot в Windows
Зрение Copilot позволяет делиться выбранными окнами браузера или приложениями с Copilot во время активного сеанса. Copilot может ответить на вопросы о том, чем вы хотите поделиться, и предоставить пошаговые инструкции.
Пока сеанс визуального распознавания активен, Copilot может ответить на вопросы о приложении или окнах браузера, которыми вы поделились во время активного сеанса, даже если они больше не открыты перед вами. Когда сеанс визуального распознавания завершается, Copilot немедленно прекращает наблюдение, и весь общий контекст очищается.
Зрение Copilot работает с любым приложением в Windows. Однако если содержимое содержит опасный материал или материал, защищенный DRM, Copilot не сможет проанализировать его.
Вот как это использовать:
Инициируйте сеанс Зрение Copilot в приложении Copilot, щелкнув значок очков
в композиторе.Выберите экран или приложение, которым вы хотите поделиться с Copilot. Пока Зрение Copilot активен, вы увидите светящийся оранжевый контур вокруг общего экрана или приложения.
Примечание
Одновременно можно выбрать только два приложения.
Визуальное распознавание запускается с Запуском с текстом , включенным по умолчанию. Состояние зрения и элементы управления отображаются на закрепленной панели Copilot. Вы можете пообщаться с Copilot и задать вопросы о том, что вы видите в общем приложении.
Если переключить переключатель на Начать с голоса, на плавающей панели инструментов отображаются элементы управления "Визуальное распознавание" и "Голос". Вы услышите звук приветствия Copilot. Затем вы можете проговорить голосовую беседу с Copilot и задать вопросы о том, что вы видите в общем приложении.
Вы можете отключить звук, щелкнув значок микрофона, который отключает микрофон и останавливает прослушивание Copilot. Щелкните значок микрофона еще раз, чтобы возобновить работу.
Если вы обратитесь к Зрение Copilot за помощью по использованию определенного приложения, оно может отобразить курсор выделения
на экране, чтобы указать что-то. Визуальное распознавание не будет выполнять действия на вашем компьютере за вас, но оно может объяснить и показать, что вам следует делать дальше.Когда вы будете готовы к завершению сеанса Зрение Copilot, нажмите кнопку Остановить на плавающей панели инструментов. По завершении сеанса Copilot немедленно прекращает наблюдение.
Использование Зрение Copilot в Edge
Зрение Copilot работает с большинством сайтов и страниц, за исключением тех, которые содержат вредоносное содержимое или содержимое для взрослых. При посещении сайта, который copilot Vision не поддерживает, Copilot Composer в нижней части экрана будет отображать неактивный значок и скрещенные очки, а модель откажется обсуждать содержимое страницы.
Вот как это использовать:
Войдите в Edge с помощью личной учетной записи Майкрософт.
Щелкните значок Copilot на панели инструментов Edge.
Затем нажмите
Голос (волны) Волны.Когда copilot Vision активен, боковая панель Copilot появится со значком очков
и значок 
.Перейдите на любой поддерживаемый веб-сайт, видео или PDF-файл, о которой вы хотите спросить Copilot.
Примечание
Во время сеанса визуального распознавания вы увидите панель инструментов со значком очков
на боковой панели Copilot, указывающий на то, что вы находитесь в активном сеансе визуального распознавания. Зрение Copilot будет продолжаться, пока вы просматриваете различные страницы, пока не завершите сеанс визуального распознавания. Зрение Copilot будет смотреть на страницу, а затем позволит вам иметь естественный разговор с Copilot о содержимом.
Вы можете остановить сеанс, щелкнув значок X на панели инструментов в нижней части окна Copilot, закрыв всю боковую панель Copilot или выйдя из Edge.
Использование Зрение Copilot на мобильных устройствах
Вы можете получить доступ к Зрение Copilot в мобильном приложении Copilot на устройствах iOS и Android.
Зрение Copilot отвечает на вопросы в зависимости от того, что он видит через камеру мобильного устройства.
Вот как это использовать:
В мобильном приложении Copilot коснитесь значка очков
, чтобы начать сеанс Зрение Copilot. Это приведет к запуску камеры мобильного устройства.Примечание: Сначала необходимо предоставить приложению Copilot разрешение на доступ к камере устройства, чтобы использовать эту функцию.
Поговорите с Copilot и задавайте вопросы о том, что вы видите через камеру или на экране. Зрение Copilot будет продолжаться до завершения сеанса визуального распознавания.
Чтобы завершить сеанс Зрение Copilot, коснитесь значка X .