Визията в Microsoft 365 Copilot ви позволява да споделяте екрана на работния си плот или мобилна камера и да попитате Copilot какво виждате, като на отговорите се основават както на споделеното съдържание, така и на служебните ви данни. За да започнете да го използвате, вижте "Първи стъпки с зрението в Microsoft 365 Copilot".
Как работи зрението?
Визуалното зрение превръща това, което споделяте, в информация, върху която Copilot може да разсъждава, след което я комбинира с вашите служебни данни, за да ви отговори на глас.
- По време на гласов разговор споделяте визуални данни: екрана на работния плот (в Windows или уеб) или камерата на мобилното устройство.
- Copilot конвертира съдържанието на споделения екран или камерата в данни, които може да анализира, включително текст, изображения, диаграми и екранни интерфейси.
- Copilot обосновава отговора си, като комбинира това, което вижда, с вашите служебни данни в Microsoft 365, като например документи, имейли и предишни обсъждания.
- Copilot отговаря с глас в реално време, така че да можете да задавате последващи въпроси в същия разговор.
Какво може да направи зрението?
Ето някои от най-полезните неща, които можете да правите със зрението:
- Анализирайте и обяснете какво гледате. Помолете Copilot да интерпретира диаграми, таблици, слайдове или плътен текст. Например "Обобщи това табло и освети всички аномалии".
- Превърнете обратната връзка в следващи стъпки. Споделете страница от документ, имейл или чат и попитайте "Каква обратна връзка получих по този въпрос и какви са следващите ми стъпки?".
- Получете актуализация на състоянието на проекта. Споделете тракер или служебен елемент и го попитайте "Дай ми бърза информация за състоянието на този елемент, на текущия собственик и следващия контролен камък".
- Получаване на помощ стъпка по стъпка в контекста. Насочете камерата на телефона си към грешка в устройството и попитайте "Как да отстраня тази грешка?".
Какви са ограниченията на зрението?
- Зрението е налично само чрез гласови чатове с Copilot в момента.
- Ежедневната употреба се базира на наличния капацитет и се включва в ежедневната ви гласова употреба. Ще бъдете уведомени в приложението Copilot, когато наближите наличното си използване.
- Визуалното търсене не може да чете видеоклипове или анимирани GIF файлове.
- Превключването между прозорците твърде бързо, докато задавате въпрос, може да накара Copilot да отговори въз основа на неправилно съдържание на екрана.
- Зрението не може да предприема действия или да манипулира директно елементи на екрана.
- Визуалното търсене няма дългосрочно изтегляне. Той не използва повторно екрани или въвеждане от камерата от предишни сесии.
Забележка
Това са възможностите при стартиране. Текущите подобрения могат да преодолеят някои от тези ограничения с течение на времето.
До какво има достъп зрението?
По време на активна сесия Copilot обработва съдържанието на екрана или камерата, което сте избрали да споделите, заедно с вашите работни данни в Microsoft 365, за да обоснове отговорите си, като например документи, имейли, събрания и предишни обсъждания.
- Визуалното въвеждане се инициира от потребителя и е обвързано със сесия, така че Copilot работи само със съдържание, споделено по време на активната сесия.
- Съдържанието на споделения екран или камерата се обработва като поредица от изображения. Аудио- и видеоданните се съхраняват временно, за да можете да предоставите обратна връзка на Microsoft, и се изтриват след 48 часа.
- Текстовите записи от гласови разговори се съхраняват и управляват по същия начин като текстовите разговори в приложението Microsoft 365 Copilot.
- Vision се придържа към ангажиментите на Microsoft от корпоративен клас за защита на данните и поверителността и не включва чувствителни лични качества като раса или емоция.
За повече информация вижте "Данни, поверителност и защита за Microsoft 365 Copilot".
Какви типове съдържание се поддържат?
Vision може да разбира обхват от съдържание на екрана и от реалния свят, включително:
- Текст, изображения, диаграми, таблици и табла.
- Интерфейси на приложения и работни потоци с много прозорци на работния плот.
- Физически обекти, гледани през мобилната камера.
Кои езици се поддържат?
Визуалното зрение е налично на всички езици, поддържани от Microsoft 365 Copilot. Някои езици може да са по-податливи на разлики в произношението или разпознаването. За пълния списък вижте Поддържани езици за Microsoft 365 Copilot.
Как бяха оценени разговорите за зрението? Какви метрики се използват за измерване на производителността?
За да се гарантира качеството, на Copilot се дават тестови въпроси и отговорите му се оценяват въз основа на критерии като уместност, коректност, пълнота, тон и съответствие с инструкциите. За да измерваме по-добре производителността, също така преглеждаме използването на функциите, честотата на палец, степента на ангажираност и обратната връзка от потребителите. Също така извършваме широк спектър от оценки на безопасността, които гарантират, че зрението отговаря по отговорен начин на вредни заявки.
Как да предоставя обратна връзка за зрението в Copilot?
Можете да предоставите обратна връзка, след като приключите гласов чат. Трябва да видите палец нагоре/надолу да се показва в хронологията на чата, която е споделена с Microsoft, за подобрения на функциите. Не използваме тази обратна връзка, за да обучим моделите на фондацията, използвани от Copilot.