Зір у Microsoft 365 Copilot дає змогу надавати спільний доступ до робочого стола або мобільної камери та запитувати Copilot про те, що ви бачите, з відповідями, обґрунтованими як у спільному вмісті, так і в робочих даних. Щоб почати використовувати його, див. статтю Початок роботи зі зором у Microsoft 365 Copilot.
Як працює зір?
Сканування перетворює те, що ви ділитеся інформацією, Copilot може обґрунтувати, а потім об'єднує його з робочими даними, щоб відповісти вам вголос.
- Ви надаєте спільний доступ до візуальних даних під час голосової розмови: на настільному екрані (у Windows або в Інтернеті) або в мобільній камері.
- Copilot перетворює спільний екран або вміст камери на дані, які він може аналізувати, включаючи текст, зображення, діаграми та екранні інтерфейси.
- Copilot обґрунтує свою відповідь, поєднуючи те, що він бачить, з вашими робочими даними Microsoft 365, такими як документи, електронні листи та попередні обговорення.
- Copilot відповідає голосом в режимі реального часу, так що ви можете задати подальші питання в тій же розмові.
Що може робити зір?
Нижче наведено кілька найкорисніших функцій, які можна виконувати зі зором.
- Проаналізуйте та поясніть, на що ви дивитеся. Попросіть Copilot інтерпретувати діаграми, таблиці, слайди або щільний текст. Наприклад, "Підсумуйте цю приладну дошку та виділіть будь-які аномалії".
- Перетворіть відгук на наступні кроки. Поділіться сторінкою документа, електронною поштою або чатом і запитайте: "Який відгук отримано з цього приводу та які подальші дії?
- Отримання оновлення стану проекту. Поділіться відстежувачем або робочим елементом і запитайте: "Дайте мені швидкий стан цього елемента, поточного власника та наступного проміжного етапу".
- Отримайте покроковий і покроковий розділ довідки. Наведіть камеру телефону на помилку пристрою та запитайте: "Як виправити цю помилку?".
Які обмеження зору?
- Бачення доступне тільки через голосові чати з Copilot прямо зараз.
- Щоденне використання базується на доступній доступності та розраховує на щоденне використання голосу. Ви отримаєте сповіщення в програмі Copilot, коли підходите до доступного використання.
- Зір не може читати відео або анімовані GIF-анімації.
- Занадто швидкий перехід між вікнами під час запитання може призвести до того, що Copilot відповість на неправильний вміст екрана.
- Зір не може виконувати дії або безпосередньо керувати елементами на екрані.
- Бачення не має довгострокового відкликання. Вона не дає повторного використання екранів або вводу з камери з попередніх сеансів.
Примітка.
Це можливості під час запуску. Поточні покращення можуть вирішити деякі з цих обмежень у часі.
До чого має доступ зір?
Під час активного сеансу Copilot обробляє вміст екрана або камери, до яких ви надаєте спільний доступ, а також робочі дані Microsoft 365, щоб заземлити відповіді, наприклад документи, електронні листи, наради та попередні обговорення.
- Візуальний ввід – це ініційований користувачем і зв'язаний із сеансом, тому Copilot працює лише з вмістом, спільним доступом до вмісту під час активного сеансу.
- Вміст спільного екрана або камери обробляється як серія зображень. Аудіо- та відеонаради тимчасово зберігаються для надання відгуків корпорації Майкрософт і видаляються через 48 годин.
- Текстові стенограми з голосових розмов зберігаються та керуються так само, як текстові розмови в програмі Microsoft 365 Copilot.
- Vision дотримується зобов'язань корпорації Майкрософт корпоративного рівня щодо безпеки та конфіденційності даних, і не припускає конфіденційних особистих атрибутів, таких як раса або емоції.
Докладні відомості див. в статті Дані, конфіденційність і безпека для Microsoft 365 Copilot.
Які типи вмісту підтримуються?
Зір може зрозуміти діапазон екранного та реального вмісту, зокрема:
- Текст, зображення, діаграми, таблиці та приладні дошки.
- Інтерфейси програм і багатовікторні робочі цикли на робочому столі.
- Фізичні об'єкти, переглянуті через мобільну камеру.
Які мови підтримуються?
Зір доступний для всіх мов, які підтримує Microsoft 365 Copilot. Деякі мови можуть бути більш схильні до відмінностей вимови або розпізнавання. Повний список див. в статті Підтримувані мови для Microsoft 365 Copilot.
Як оцінювалися розмови із зором? За якими показниками визначалася продуктивність?
Для забезпечення якості Copilot надаються тестові питання, а його відповіді оцінюються на основі таких критеріїв, як відповідність, правильність, повнота, тон і дотримання інструкцій. Для кращої оцінки продуктивності ми також переглядаємо використання функцій, швидкість великого пальця, швидкість залучення та відгуки користувачів. Ми також проводимо широкий спектр оцінок безпеки, які забезпечують відповідальне реагування зору на шкідливі запити.
Як надати відгук про бачення в Copilot?
Ви можете надати відгук після завершення голосового чату. У журналі чату, до якого надано спільний доступ із корпорацією Майкрософт, має з'явитися великий палець вгору або вниз, щоб удосконалити функції. Ми не використовуємо цей відгук для навчання моделей фонду, які використовує Copilot.