Примітка.
Головна сторінка, нова відправна точка в Copilot, де Chat і Cowork об'єднуються, усе ще розгортається, тому те, що ви бачите в програмі Copilot, може відрізнятися від описаного в цій статті.
Vision у Microsoft Copilot дає змогу демонструвати екран робочого стола або камеру мобільного пристрою та запитувати Copilot про те, що ви бачите, а відповіді ґрунтуються на спільному вмісті та ваших робочих даних. Щоб розпочати його використання, див. статтю Початок роботи із зіром у Microsoft Copilot.
Як працює зір?
Зір перетворює те, чим ви ділитеся, на інформацію, якою ви ділитеся, а потім поєднує це з вашими робочими даними, щоб відповісти вам вголос.
- Під час голосової розмови можна використовувати візуальні дані: з екрана робочого стола (у Windows або в Інтернеті) або з камери мобільного пристрою.
- Copilot перетворює вміст спільного екрана або камери на дані, які може проаналізувати, зокрема текст, зображення, діаграми та екранні інтерфейси.
- Copilot обґрунтовує свою відповідь тим, що об'єднує побачене з вашими робочими даними Microsoft 365, такими як документи, електронні листи та попередні обговорення.
- Copilot відповідає вголос у реальному часі, тому ви можете ставити подальші запитання під час тієї самої розмови.
Що вміє зір?
Ось деякі з найкорисніших речей, які можна зробити за допомогою зору:
- Проаналізуйте та поясніть, на що ви дивитеся. Попросіть Copilot інтерпретувати діаграми, таблиці, слайди або щільний текст. Наприклад, "Підсумуй цю приладну дошку та виділи будь-які аномалії".
- Перетворення відгуків на подальші кроки. Надайте спільний доступ до сторінки документа, електронного листа або чату та запитайте: "Який відгук я отримав з цього приводу та які подальші кроки?".
- Отримання оновлення стану проекту. Поділіться відстеженням або робочим елементом і запитайте: "Надайте мені швидкий статус цього елемента, поточного власника та наступний проміжний етап".
- Отримайте контекстну, покрокову довідку. Наведіть камеру телефона на помилку пристрою та запитайте: "Як виправити цю помилку?".
Які обмеження має зір?
- Наразі функція Vision доступна лише в голосових чатах із Copilot.
- Щоденне використання залежить від доступної ємності та враховується у вашому щоденному голосовому використанні. Ви отримаєте сповіщення в програмі Copilot, коли наблизитеся до доступного використання.
- Зір не може читати відео або анімаційні GIF-файли.
- Занадто швидке перемикання між вікнами під час запитань може призвести до того, що Copilot відповість на основі неправильного вмісту екрана.
- Зір не може виконувати дії або безпосередньо керувати елементами на екрані.
- Зір не має довгострокової пам'яті. У режимі попереднього сеансу не використовуються екрани або дані з камери.
Примітка.
Це можливості на момент запуску. Поточні вдосконалення з часом можуть усунути деякі з цих обмежень.
До чого має доступ зір?
Під час активного сеансу Copilot обробляє вміст екрана або камери, яким ви вирішили поділитися, а також ваші робочі дані Microsoft 365, щоб отримати відповіді, як-от документи, електронні листи, наради та попередні обговорення.
- Візуальний ввід ініціюється користувачем і прив'язаний до сеансу, тому Copilot працює лише з вмістом, до якого надано спільний доступ під час активного сеансу.
- Вміст спільного екрана або камери обробляється як ряд зображень. Аудіо- та відеодані тимчасово зберігаються, щоб ви могли надати відгук корпорації Майкрософт, і видаляються через 48 годин.
- Текстові стенограми голосових розмов зберігаються та керуються так само, як текстові розмови в програмі Microsoft Copilot.
- Vision відповідає зобов'язанням корпорації Майкрософт корпоративного рівня щодо безпеки даних і конфіденційності та не передбачає використання чутливих особистих якостей, таких як раса чи емоції.
Докладні відомості див. в статті "Дані, конфіденційність і безпека для Microsoft CopilotMicrosoft Copilot
Які типи вмісту підтримуються?
Vision може розуміти різноманітний екранний і реальний вміст, зокрема:
- Текст, зображення, діаграми, таблиці та приладні дошки.
- Інтерфейси програм і багатовіконні робочі цикли на настільних ПК.
- Фізичні об'єкти, які переглядаються через камеру мобільного пристрою.
Які мови підтримуються?
Програма Vision доступна усіма мовами, які підтримує Microsoft Copilot. Деякі мови можуть бути більш схильні до відмінностей у вимові або розпізнаванні. Повний список див. в статті "Підтримувані мови для Microsoft Copilot".
Як оцінювалися зорові бесіди? За якими показниками визначалася продуктивність?
Щоб забезпечити якість, Copilot відповідає на тестові запитання, а відповіді на них оцінюються на основі таких критеріїв, як відповідність, правильність, повнота, тон і дотримання інструкцій. Щоб краще оцінити продуктивність, ми також аналізуємо використання функцій, високий палець уперед, рівень залученості та відгуки користувачів. Ми також проводимо широкий спектр оцінок безпеки, які гарантують, що зір відповідально реагує на шкідливі запити.
Як надати відгук про зір у Copilot?
Ви можете надати відгук після завершення голосового чату. Ви повинні побачити великий палець угору/вниз у вашій історії чату, яка надається корпорації Майкрософт для вдосконалення функцій. Ми не використовуємо цей відгук для навчання базових моделей, які застосовує Copilot.