"Microsoft Copilot" vizija leidžia bendrinti darbalaukio ekraną arba mobiliąją kamerą ir klausti "Copilot" apie tai, ką matote, o atsakymai pagrįsti tiek bendrinamu turiniu, tiek jūsų darbo duomenimis. Norėdami pradėti ją naudoti, žr. "Microsoft Copilot" regėjimo naudojimo pradžia.
Kaip veikia regėjimas?
"Vision" tai, ką bendrinate, paverčia informacija, kurią "Copilot" gali apmąstyti, tada sujungia ją su jūsų darbo duomenimis, kad galėtų jums atsakyti garsiai.
- Balso pokalbio metu bendrinate vaizdinę informaciją: darbalaukio ekraną ("Windows" arba žiniatinklyje) arba mobiliojo įrenginio kamerą.
- "Copilot" konvertuoja bendrinamą ekraną arba fotoaparato turinį į duomenis, kuriuos gali analizuoti, įskaitant tekstą, vaizdus, diagramas ir ekrano sąsajas.
- "Copilot" pagrindžia savo atsakymą derindama tai, ką mato su jūsų "Microsoft 365" darbo duomenimis, pvz., dokumentais, el. laiškais ir ankstesnėmis diskusijomis.
- "Copilot" atsako balsu realiuoju laiku, todėl galite užduoti tolesnius klausimus tame pačiame pokalbyje.
Ką gali padaryti regėjimas?
Štai keletas naudingiausių dalykų, kuriuos galite atlikti su regėjimu:
- Analizuokite ir paaiškinkite, ką matote. Paprašykite "Copilot" interpretuoti diagramas, lenteles, skaidres ar tankų tekstą. Pvz., "Apibendrink šią ataskaitų sritį ir paryškink visus nukrypimus".
- Paverskite grįžtamąjį ryšį kitais veiksmais. Bendrinkite dokumento, el. laiško ar pokalbio puslapį ir paklauskite: "Kokių atsiliepimų gavau šiuo klausimu ir kokie mano tolesni veiksmai?"
- Gaukite projekto būsenos atnaujinimą. Bendrinkite sekimo priemonę arba darbo elementą ir paklauskite: "Pateik greitą šio elemento būseną, dabartinį savininką ir kitą etapą".
- Gaukite kontekstinį nuoseklų žinyną. Nukreipkite telefono kamerą į įrenginio klaidą ir paklauskite: "Kaip ištaisyti šią klaidą?"
Kokie yra regėjimo apribojimai?
- Šiuo metu vaizdas pasiekiamas tik per balso pokalbius su "Copilot".
- Kasdienis naudojimas priklauso nuo turimo pajėgumo ir įskaičiuojamas į kasdienį balso naudojimą. Jums bus pranešta "Copilot" programoje, kai priartėsite prie galimo naudojimo.
- Regėjimas negali skaityti vaizdo įrašų ar animuotų GIF.
- Per greitas perjungimas tarp langų užduodant klausimą gali sukelti "Copilot" atsakymą pagal netinkamą ekrano turinį.
- Regėjimas negali atlikti veiksmų arba tiesiogiai valdyti ekrane esančių elementų.
- Vizija neturi ilgalaikio prisiminimo. Ji pakartotinai nenaudoja ekranų ar fotoaparato įvesties iš ankstesnių seansų.
Pastaba
Tokios galimybės pateikiamos paleidimo metu. Nuolat tobulinant galima išspręsti kai kuriuos iš šių apribojimų laikui bėgant.
Prie ko turi prieigą regėjimas?
Aktyvaus seanso metu "Copilot" apdoroja ekrano ar kameros turinį, kurį pasirenkate bendrinti, kartu su jūsų "Microsoft 365" darbo duomenimis, kad galėtų pagrįsti savo atsakymus, pvz., dokumentus, el. laiškus, susitikimus ir ankstesnes diskusijas.
- Vaizdinė įvestis yra inicijuojama vartotojo ir susieta su seansu, todėl "Copilot" veikia tik su turiniu, bendrinamu aktyvaus seanso metu.
- Bendrinamas ekranas arba kameros turinys apdorojamas kaip vaizdų seka. Garso ir vaizdo įrašų duomenys laikinai saugomi, kad galėtumėte pateikti atsiliepimus "„Microsoft“", ir po 48 valandų panaikinami.
- Balso pokalbių teksto nuorašai saugomi ir tvarkomi taip pat, kaip ir tekstiniai pokalbiai "Microsoft Copilot" programėlėje.
- "Vision" laikosi "„Microsoft“" įmonės lygio įsipareigojimų dėl duomenų saugos ir privatumo ir nenustato jautrių asmeninių savybių, tokių kaip rasė ar emocijos.
Daugiau informacijos žr. "Microsoft Copilot" Duomenys, privatumas ir sauga.
Kokio tipo turinys palaikomas?
"Vision" gali suprasti įvairų ekrane rodomą ir realų turinį, įskaitant:
- Tekstas, vaizdai, diagramos, lentelės ir ataskaitų sritys.
- Programų sąsajos ir kelių langų darbo eigos darbalaukyje.
- Fiziniai objektai, peržiūrėti per mobiliąją kamerą.
Kokios kalbos palaikomos?
"Vision" pasiekiama visomis "Microsoft Copilot" palaikomomis kalbomis. Kai kurios kalbos gali būti labiau linkusios į tarimo ar atpažinimo skirtumus. Visą sąrašą rasite "Microsoft Copilot" palaikomos kalbos.
Kaip buvo vertinami vizijos pokalbiai? Kokia metrika naudojama našumui įvertinti?
Siekiant užtikrinti kokybę, "Copilot" pateikiami testo klausimai, o atsakymai vertinami pagal kriterijus, pvz., tinkamumą, teisingumą, išsamumą, toną ir instrukcijų laikymąsi. Norėdami geriau įvertinti efektyvumą, taip pat peržiūrime funkcijų naudojimą, nykščio padidinimo rodiklį, įsitraukimo rodiklį ir vartotojų atsiliepimus. Taip pat atliekame įvairius saugos vertinimus, kurie užtikrina, kad "Vision" atsakingai reaguotų į žalingas užklausas.
Kaip pateikti atsiliepimą apie regėjimą "Copilot"?
Galite pateikti atsiliepimą, kai baigsite balso pokalbį. Pokalbio istorijoje, kuri bendrinama su "„Microsoft“", kad būtų patobulintos funkcijos, turėtumėte matyti nykštį aukštyn / žemyn. Nenaudojame šių atsiliepimų pamatiniams modeliams, kuriuos naudoja "Copilot", išmokyti.