Kuidas Microsoft 365 Copilot nägemine töötab?

kaameraotsingu Microsoft 365 Copilot võimaldab jagada töölauaekraani või mobiilsideseadme kaamerat ja küsida Copilotilt, mida näete, nii jagatud sisus kui ka tööandmetes esitatud vastustega. Selle kasutamise alustamiseks lugege teemat Nägemisega alustamine Microsoft 365 Copilot.

Kuidas nägemine toimib?

Kaameranägemine muudab teabe, mida jagate, Copilot võib läbi rääkida, seejärel kombineerib need tööandmetega, et vastata teile valjusti.

  • Visuaalse sisestuse saate jagada häälvestluse ajal: töölauaekraanil (Windowsis või veebis) või mobiilsidekaameras.
  • Copilot teisendab ühisekraani või kaamera sisu analüüsitavateks andmeteks (sh tekst, pildid, diagrammid ja ekraaniliidesed).
  • Copilot põhjendab oma vastust, kombineerides seda, mida see näeb, teie Microsoft 365 tööandmetega (nt dokumendid, meilisõnumid ja varasemad arutelud).
  • Copilot vastab reaalajas häälega, nii et saate samas vestluses esitada järeltegevusega seotud küsimusi.

Mida suudab nägemine teha?

Siin on mõned kõige kasulikumad asjad, mida saate nägemisega teha.

  • Analüüsige ja selgitage, mida te vaatate. Paluge Copilotil tõlgendada diagramme, tabeleid, slaide või tihedat teksti. Näiteks "Summeeri see armatuurlaud ja tõsta esile kõik anomaaliad".
  • Muutke tagasiside järgmisteks toiminguteks. Jagage dokumendi, meilisõnumi või vestluse lehte ja küsige: "Millist tagasisidet ma selle kohta sain ja millised on minu järgmised toimingud?"
  • Saate hankida projekti olekuvärskenduse. Jagage jälgimis- või tööüksust ja küsige: "Määra mulle selle üksuse, praeguse omaniku ja järgmise vaheetapi kiirolek".
  • Üksikasjalik kontekstipõhine spikker. Osutage telefoni kaameraga seadme tõrkele ja küsige: "Kuidas seda tõrget parandada?"

Millised on nägemispiirangud?

  • Nägemine on praegu saadaval ainult Copilotiga telefonivestlustes.
  • Igapäevane kasutus põhineb saadaoleval mahul ja vastab teie igapäevasele häälkasutusele. Teid teavitatakse Copiloti rakenduses, kui lähete oma saadaolevale kasutusele lähemale.
  • Kaameraotsing ei saa lugeda videoid ega animeeritud GIF-pilte.
  • Liiga kiiresti akende vahetamine küsimuse küsimise ajal võib põhjustada Copilot'i reageerimise vale ekraanisisu põhjal.
  • Nägemine ei saa teha toiminguid ega töödelda otse ekraanil olevaid üksusi.
  • Visioonil pole pikaajalist tagasikutsumist. See ei kasuta eelmiste seansside ekraane ega kaamerasisendit uuesti.

Märkus.

Need on käivitamise võimalused. Pooleliolevad täiustused võivad teatud piirangutega aja jooksul tegeleda.

Millele on nägemisel juurdepääs?

Aktiivse seansi ajal töötleb Copilot ekraani või kaamera sisu, mille valite ühiskasutusse andmiseks, koos Microsoft 365 tööandmetega, et saada vastuseid nende vastustele (nt dokumendid, meilisõnumid, koosolekud ja varasemad arutelud).

  • Visuaalne sisend on kasutaja algatatud ja seansi seotud, nii et Copilot töötab ainult aktiivse seansi ajal ühiskasutusse antud sisuga.
  • Ühisekraani või kaamera sisu töödeldakse piltide sarjana. Heli- ja videoandmed salvestatakse ajutiselt, et saaksite Microsoftile tagasisidet anda, ja need kustutatakse 48 tunni pärast.
  • Häälvestluste teksti transkriptsioone talletatakse ja hallatakse samamoodi nagu tekstivestlusi Microsoft 365 Copilot rakenduses.
  • Visioon järgib Microsofti ettevõttetasemel kohustusi seoses andmete turvalisuse ja privaatsusega ning see ei tuleta tundlikke isiklikke atribuute, nagu võidujooks või emotsioonid.

Lisateavet leiate teemast Microsoft 365 Copilot andmed, privaatsus ja turve.

Millist tüüpi sisu toetatakse?

Kaameranägemine mõistab mitmesuguseid ekraanil kuvatavaid ja reaalseid sisusid, sealhulgas järgmist.

  • Tekst, pildid, diagrammid, tabelid ja armatuurlauad.
  • Töölauarakenduse liidesed ja mitme aknaga töövood.
  • Füüsilised objektid, mida vaadatakse teie mobiilsidekaamera kaudu.

Milliseid keeli toetatakse?

Kaameranägemine on saadaval kõigis Microsoft 365 Copilot toetatud keeltes. Mõni keel võib olla hääldus- või tuvastuserinevuste suhtes kalduvam. Täieliku loendi leiate teemast Microsoft 365 Copilot toetatud keeled.

Kuidas visioonivestlusi hinnati? Milliseid mõõdikuid jõudluse mõõtmiseks kasutatakse?

Kvaliteedi tagamiseks antakse Copilotile testiga seotud küsimusi ja nende vastuseid hinnatakse selliste kriteeriumide alusel nagu asjakohasus, korrektsus, täielikkus, toonid ja juhiste järgimine. Jõudluse paremaks mõõtmiseks vaatame läbi ka funktsioonide kasutamise, pöidla suurendamise määra, kaasamismäära ja kasutajate tagasiside. Samuti korraldame mitmesuguseid ohutushinnanguid, mis tagavad, et nägemine reageerib kahjulikele päringutele vastutustundlikult.

Kuidas anda tagasisidet Coplotis nägemise kohta?

Kui olete häälvestluse lõpetanud, saate anda tagasisidet. Funktsioonitäiustuste saamiseks peaksite oma vestlusajaloos nägema üles/alla pöidlaid. Me ei kasuta seda tagasisidet Coplotis kasutatavate alusmudelite koolitamiseks.

Rohkem võimalusi nägemisega töötamiseks Coplotis