Визуальное распознавание в Microsoft 365 Copilot позволяет поделиться экраном рабочего стола или мобильной камерой и спросить Copilot о том, что вы видите, с ответами на основе общего содержимого и рабочих данных. Чтобы начать использовать его, см. статью Начало работы с зрением в Microsoft 365 Copilot.
Как работает зрение?
Зрение превращает то, чем вы делитесь, в информацию Copilot может рассуждать, а затем объединяет его с вашими рабочими данными, чтобы ответить вам вслух.
- Вы обменяе визуальными данными во время голосовой беседы: на экране рабочего стола (в Windows или в Интернете) или мобильной камеры.
- Copilot преобразует содержимое общего экрана или камеры в данные, которые он может анализировать, включая текст, изображения, диаграммы и экранные интерфейсы.
- Copilot определяет свой ответ, объединяя то, что он видит с рабочими данными Microsoft 365, такими как документы, электронные письма и предыдущие обсуждения.
- Copilot отвечает голосом в режиме реального времени, поэтому вы можете задавать дополнительные вопросы в том же разговоре.
Что может сделать зрение?
Вот некоторые из наиболее полезных вещей, которые можно сделать с помощью визуального распознавания:
- Анализируйте и объясните, что вы смотрите. Попросите Copilot интерпретировать диаграммы, таблицы, слайды или плотный текст. Например, "Суммировать эту панель мониторинга и выделить любые аномалии".
- Включите обратную связь в следующие действия. Поделитесь страницей документа, электронной почты или чата и спросите: "Какие отзывы я получил по этому вопросу и каковы мои дальнейшие действия?".
- Получение обновления состояния проекта. Предоставьте общий доступ к средству отслеживания или рабочему элементу и попросите: "Дайте мне быстрый статус этого элемента, текущего владельца и следующей вехи".
- Получите пошаговую справку в контексте. Наведите камеру телефона на ошибку устройства и спросите: "Разделы справки исправить эту ошибку?"
Каковы ограничения зрения?
- Визуальное распознавание доступно только в голосовых чатах с Copilot прямо сейчас.
- Ежедневное использование зависит от доступной емкости и учитывается ежедневное использование голосовых данных. Вы получите уведомление в приложении Copilot по мере приближения к доступу к использованию.
- Визуальное распознавание не может читать видео или анимированные GIF-файлы.
- Слишком быстрое переключение между окнами при постановке вопроса может привести к тому, что Copilot будет отвечать на неправильное содержимое экрана.
- Визуальное распознавание не может выполнять действия или напрямую управлять элементами на экране.
- Зрение не имеет долгосрочного отзыва. Он не использует повторно экраны или вход с камеры из предыдущих сеансов.
Примечание
Это возможности при запуске. Текущие улучшения могут устранять некоторые из этих ограничений с течением времени.
К чему имеет доступ зрение?
Во время активного сеанса Copilot обрабатывает выбранное содержимое экрана или камеры вместе с рабочими данными Microsoft 365 для получения ответов, таких как документы, сообщения электронной почты, собрания и предыдущие обсуждения.
- Визуальные входные данные инициируются пользователем и привязаны к сеансам, поэтому Copilot работает только с содержимым, которым предоставлен общий доступ во время активного сеанса.
- Содержимое общего экрана или камеры обрабатывается в виде ряда изображений. Аудио- и видеоданные временно хранятся для предоставления отзывов корпорации Майкрософт и удаляются через 48 часов.
- Расшифровки текста из голосовых бесед хранятся и управляются так же, как текстовые беседы в приложении Microsoft 365 Copilot.
- Концепция соответствует обязательствам корпорации Майкрософт корпоративного уровня в отношении безопасности и конфиденциальности данных и не определяет конфиденциальные личные атрибуты, такие как раса или эмоции.
Дополнительные сведения см. в разделе Данные, конфиденциальность и безопасность для Microsoft 365 Copilot.
Какие типы содержимого поддерживаются?
Визуальное распознавание может понять целый ряд экранных и реальных содержимого, включая:
- Текст, изображения, диаграммы, таблицы и панели мониторинга.
- Интерфейсы приложений и многооконный рабочий процесс на рабочем столе.
- Физические объекты, просматриваемые с помощью мобильной камеры.
Какие языки поддерживаются?
Визуальное распознавание доступно на всех языках, поддерживаемых Microsoft 365 Copilot. Некоторые языки могут быть более склонны к различиям в произношении или распознавании. Полный список см. в разделе Поддерживаемые языки для Microsoft 365 Copilot.
Как оцениваются беседы о визуальном распознавании? Какие показатели используются для оценки эффективности?
Чтобы обеспечить качество, Copilot получают тестовые вопросы, а его ответы оцениваются на основе таких критериев, как релевантность, правильность, полнота, тон и соблюдение инструкций. Чтобы лучше оценить производительность, мы также рассмотрим использование функций, частоту повышения производительности, уровень вовлеченности и отзывы пользователей. Мы также проводим широкий спектр оценок безопасности, которые гарантируют, что зрение ответственно реагирует на вредоносные запросы.
Разделы справки оставить отзыв о зрении в Copilot?
Вы можете отправить отзыв после завершения голосового чата. Вы должны увидеть большие пальцы вверх или вниз в журнале чата, который предоставляется корпорации Майкрософт для улучшения функций. Мы не используем эти отзывы для обучения базовых моделей, используемых Copilot.