Kako deluje vid v Microsoft Copilot

Vision v Microsoft Copilot vam omogoča, da daste zaslon namizja ali mobilno kamero v skupno rabo in vprašate Copilota o tem, kaj vidite, z odgovori, ki temeljijo na vsebini v skupni rabi in vaših delovnih podatkih. Če ga želite začeti uporabljati, glejte Uvod v vid v aplikaciji Microsoft Copilot.

Kako deluje vid?

Vision spremeni tisto, kar delite, v informacije, ki jih lahko Copilot premisli, nato pa jih združi z vašimi delovnimi podatki, da vam odgovori na glas.

  • Med glasovnim pogovorom delite vizualni vnos: zaslon namizja (v sistemu Windows ali spletu) ali mobilno kamero.
  • Copilot pretvori vsebino zaslona ali kamere v skupno rabo v podatke, ki jih lahko analizira, vključno z besedilom, slikami, grafikoni in vmesniki na zaslonu.
  • Copilot svoj odgovor utemelji tako, da združi to, kar vidi, z vašimi službenimi podatki v okolju Microsoft 365, kot so dokumenti, e-poštna sporočila in prejšnje razprave.
  • Copilot odgovarja z glasom v realnem času, tako da lahko v istem pogovoru postavljate dodatna vprašanja.

Kaj lahko naredi vid?

Tukaj je nekaj najbolj uporabnih stvari, ki jih lahko naredite z vidom:

  • Analizirajte in razložite, kaj gledate. Prosite Copilot, da interpretira grafikone, tabele, diapozitive ali zgoščeno besedilo. Na primer: »Povzemite to nadzorno ploščo in označite morebitne nepravilnosti.«
  • Povratne informacije spremenite v naslednje korake. Dajte stran dokumenta, e-poštnega sporočila ali klepeta v skupno rabo in vprašajte: »Kakšne povratne informacije sem prejel o tem in kakšni so moji naslednji koraki?«
  • Pridobite posodobitev stanja projekta. Dajte sledilnik ali delovni element v skupno rabo in vprašajte: »Hitro mi sporočite stanje tega elementa, trenutnega lastnika in naslednjega mejnika.«
  • Poiščite pomoč po korakih v kontekstu. Usmerite kamero telefona na napako naprave in vprašajte: »Kako odpravim to napako?«

Kakšne so omejitve vida?

  • Vision je trenutno na voljo samo prek glasovnih klepetov s Copilotom.
  • Dnevna uporaba temelji na razpoložljivi zmogljivosti in se upošteva v dnevno uporabo govoru. V aplikaciji Copilot boste obveščeni, ko se boste približali razpoložljivi uporabi.
  • Vision ne more brati videoposnetkov ali animiranih GIF-ov.
  • Prehitro preklapljanje med okni med postavljanjem vprašanja lahko povzroči, da se Copilot odzove na podlagi napačne vsebine zaslona.
  • Vid ne more ukrepati ali neposredno manipulirati z elementi na zaslonu.
  • Vizija nima dolgoročnega odpoklica. Ne uporablja znova zaslonov ali vnosa kamere iz prejšnjih sej.

Opomba

To so zmogljivosti ob zagonu. Stalne izboljšave lahko sčasoma odpravijo nekatere od teh omejitev.

Do česa ima dostop vid?

Med aktivno sejo Copilot obdela vsebino zaslona ali kamere, ki jo izberete za skupno rabo, skupaj z vašimi službenimi podatki v okolju Microsoft 365, da utemelji svoje odgovore, kot so dokumenti, e-poštna sporočila, srečanja in predhodne razprave.

  • Vizualni vnos sproži uporabnik in je vezan na sejo, zato Copilot deluje samo z vsebino, ki je bila v skupni rabi med aktivno sejo.
  • Vsebina zaslona ali kamere v skupni rabi je obdelana kot niz slik. Zvočni in videopodatki so začasno shranjeni, da lahko Microsoftu posredujete povratne informacije, in se izbrišejo po 48 urah.
  • Besedilni prepisi iz glasovnih pogovorov se shranjujejo in upravljajo na enak način kot besedilni pogovori v aplikaciji Microsoft Copilot.
  • Vision se drži Microsoftovih zavez za varnost in zasebnost podatkov na ravni podjetij in ne sklepa o občutljivih osebnih lastnostih, kot sta rasa ali čustva.

Če želite več informacij, glejte Podatki, zasebnost in varnost za Microsoft Copilot.

Katere vrste vsebine so podprte?

Vision lahko razume vrsto vsebin na zaslonu in v resničnem svetu, vključno z:

  • Besedilo, slike, grafikoni, tabele in nadzorne plošče.
  • Vmesniki aplikacij in poteki dela z več okni na namizju.
  • Fizični predmeti, ki si jih gledate prek mobilne kamere.

Kateri jeziki so podprti?

Vision je na voljo v vseh jezikih, ki jih podpira Microsoft Copilot. Nekateri jeziki so morda bolj nagnjeni k razlikam v izgovorjavi ali prepoznavanju. Če želite celoten seznam, glejte Podprti jeziki za Microsoft Copilot.

Kako so ocenjevali pogovore o vidu? Katere metrike se uporabljajo za merjenje učinkovitosti delovanja?

Da bi zagotovili kakovost, Copilot dobi testna vprašanja, njegovi odgovori pa se ocenjujejo na podlagi meril, kot so ustreznost, pravilnost, popolnost, ton in upoštevanje navodil. Za boljše merjenje uspešnosti pregledamo tudi uporabo funkcij, stopnjo palca navzgor, stopnjo dejavnosti in povratne informacije uporabnikov. Izvajamo tudi širok nabor varnostnih ocen, ki zagotavljajo, da se vid odgovorno odziva na škodljiva vprašanja.

Kako lahko posredujem povratne informacije o vidu v Copilotu?

Ko končate glasovni klepet, lahko pošljete povratne informacije. V zgodovini klepetov bi se moral prikazati palec navzgor/navzdol, ki ga delite z Microsoftom za izboljšave funkcij. Teh povratnih informacij ne uporabljamo za usposabljanje temeljnih modelov, ki jih uporablja Copilot.

Več načinov za delo z vidom v Copilotu