Използване на "Копилотно зрение" с Microsoft Copilot

"Microsoft Copilot визуално търсене" е нов начин ИИ да работи с вас, докато използвате вашия компютър с Windows или Mac, да навигирате в интернет в Microsoft Edge или да преглеждате света от телефона си.  Това е като втори набор от очи, които могат незабавно да преглеждат, анализират и предлагат прозрения въз основа на това, което копилот вижда.  Когато активирате Copilot Визуално търсене, Copilot може да преглежда вашия екран или информационен канал на мобилната камера и да използва Глас на Copilot, за да отговаря на въпроси и да взаимодейства с вас. 

Забележка

"Копилотно зрение" не събира, съхранява и не използва никакви данни, за да обучава нашите модели.  Не се запазват, транскрибирани или регистрирани изображения.  След като приключи сесията на Поглед на Copilot, всички изображения, аудио и контекст се изтриват.  Отговорите на модела се съхраняват, за да позволят наблюдение на опасни взаимодействия.  Запис на разговора с "Визуално търсене" се съхранява в хронологията на разговорите, но не се използва за обучение или персонализиране.  Можете да изтриете хронологията на чата по всяко време.

"Копилотно зрение" е налично във всички поддържани региони и езици и е достъпен от Windows, Edge и мобилното приложение Copilot (iOS и Android).  Трябва да влезете в Copilot, за да получите достъп до "Визуално търсене".

Абонатите на Microsoft 365 Personal, Семейство и Premium получават ограничения за разширено използване на Визуално търсене.   

Как "Копилот визуално търсене" обработва вашите данни

Копилотното зрение е активно само когато започнете сесия на визуално търсене. Тя обработва Вашите данни в съответствие с Декларацията за поверителност на Microsoft.   

Когато се използва визуално търсене, се регистрират само отговорите на Copilot, за да се даде възможност за наблюдение на опасни взаимодействия и изходи. Потребителските входни данни, изображенията и съдържанието на страницата не се регистрират или съхраняват.  След като гласовата сесия приключи, тези данни се изтриват.   

Визуалното търсене не комуникира директно с вашия компютър, интернет или телефона от ваше име – има за цел да отговаря на въпроси, вместо да предприема действия. Копилотното зрение може да освети части от екрана, за да ви помогне да намерите подходяща информация. Той няма да щраква върху, да въвежда текст или да превърта от ваше име. 

Първия път, когато използвате визуално търсене в Windows, MacOS, Edge и Copilot Mobile, Copilot ще ви подкани да потвърдите съобщение за поверителност.   

Визуалното търсене не е налично за търговски потребители, влезли в Copilot или Edge с акаунт за Entra ИД. 

Използване на "Копилотно зрение" в Windows

Поглед на Copilot ви позволява да споделяте избрани прозорци на браузъра или приложения с Copilot по време на активна сесия. Copilot може да отговаря на въпроси за това, което сте избрали да споделите, и да ви даде указания "стъпка по стъпка".

Докато сесията на визуално търсене е активна, Copilot може да отговаря на въпроси за приложението или прозорците на браузъра, които сте споделили по време на активната сесия, дори ако те вече не са отворени пред вас. Когато сесията на визуално търсене приключи, Copilot веднага спира наблюдението и се изчиства целият споделен контекст.

Поглед на Copilot работи с всяко приложение в Windows. Ако обаче съдържанието включва опасен или защитен с DRM материал, Copilot няма да може да го анализира. 

Ето как да я използвате:

  • Стартирайте сесия на Поглед на Copilot в приложението Copilot, като щракнете върху иконата с очила Икона на черни очила в композитора.

  • Изберете кой екран или приложение искате да споделите с Copilot. Докато copilot визуалното търсене е активно, ще видите искрящ оранжев контур около споделения екран или приложение.
     

    Забележка

    Можете да избирате само две приложения едновременно.

  • Визуалното търсене се стартира със "Старт", като текстът е разрешен по подразбиране. Състоянието на зрението и контролите се показват в закачения панел на Copilot. Можете да водите текстов разговор с Copilot и да задавате въпроси за това, което виждате в споделеното приложение.

  • Ако промените превключвателя на Старт с глас, плаваща лента с инструменти показва контролите за визуално търсене и глас. Ще чуете Copilot да изпълнява аудио поздрав. След това можете да водите гласов разговор с Copilot и да задавате въпроси за това, което виждате в споделеното приложение.

  • Можете да изключите звука си, като щракнете върху иконата на микрофона, която забранява микрофона и спира Copilot да слуша. Щракнете отново върху иконата на микрофона, за да възобновите работата си.

  • Ако попитате Поглед на Copilot за помощ как да използвате конкретно приложение, то може да покаже осветяващ курсор Курсор на екрана, за да посочите нещо. Визуалното търсене няма да предприеме действия на вашия компютър вместо вас, но може да обясни и покаже какво трябва да направите след това.

  • След като сте готови да прекратите сесията на Copilot Визуално търсене, щракнете върху Спри в плаващата лента с инструменти. Когато сесията приключи, Copilot веднага спира наблюдението.

Използване на "Копилот визуално търсене" в Edge

Поглед на Copilot работи с повечето сайтове и страници, с изключение на тези, които съдържат опасно или съдържание за възрастни.  Когато посетите сайт, който не поддържа Поглед на Copilot, композиторът на Copilot в долната част на екрана ще показва сива икона и кръстосани очила, а моделът ще откаже да обсъди съдържанието на страницата. 

Ето как да я използвате:

  1. Влезте в Edge с личния си акаунт в Microsoft.

  2. Щракнете върху иконата на Copilot в лентата с инструменти на Edge.

  3. След това щракнете върху бутона Глас (вълни) Вълни .

  4. Когато копилотното зрение е активно, страничният екран на Copilot ще се появи с икона на очила Икона на черни очила и икона на микрофон в Teams икона на микрофон.

  5. Придвижете се до всеки поддържан уеб сайт, видео или PDF файл, за който искате да попитате Copilot.

    Забележка

    Докато се провежда сесия със визуално търсене, ще видите лента с инструменти с икона на очила Икона на черни очила , отворена в страничния екран на Copilot, което показва, че сте в активна сесия на "Визуално търсене". Copilot Визуалното търсене ще остане включено, докато преглеждате различни страници, докато не прекратите сесията "Визуално търсене". 

  6. Копилотното визуално търсене ще прегледа страницата и след това ще ви позволи да водите естествен разговор с Copilot за съдържанието.

  7. Можете да спрете сесията, като щракнете върху X в лентата с инструменти в долната част на прозореца на Copilot, затворите целия страничен екран на Copilot или излезете от Edge.

Използване на "Копилот визуално търсене" на мобилни устройства

Можете да осъществите достъп до Copilot Визуално търсене в мобилното приложение Copilot както на устройства с iOS, така и на Android.   

Copilot Визуално търсене отговаря на въпроси, базирани на това, което вижда през камерата на мобилното ви устройство.

Ето как да я използвате:

  • В мобилното приложение Copilot докоснете иконата на очила Икона на черни очила , за да започнете сесия на Поглед на Copilot.  Това ще стартира камерата на мобилното ви устройство.

    Забележка: Първо трябва да дадете разрешение на приложението Copilot за достъп до камерата на вашето устройство, за да използвате тази функция.

  • Говорете с Copilot и задайте въпроси за това, което виждате през камерата или на екрана. Копилотното зрение ще остане включено, докато не прекратите сесията "Визуално търсене".

  • За да прекратите сесията на Поглед на Copilot, докоснете иконата X .