Visjon i Microsoft Copilot lar deg dele skrivebordsskjermen eller mobilkameraet og spørre Copilot om hva du ser, med svar basert på både det delte innholdet og arbeidsdataene dine. Hvis du vil begynne å bruke det, kan du se Kom i gang med visjon i Microsoft Copilot.
Hvordan fungerer syn?
Vision gjør det du deler, om til informasjon Copilot kan resonnere over, og kombinerer det deretter med arbeidsdataene dine for å svare deg høyt.
- Du deler visuelle inndata under en talesamtale: skrivebordsskjermen (i Windows eller på nettet) eller mobilkameraet.
- Copilot konverterer innholdet på den delte skjermen eller kameraet til data den kan analysere, inkludert tekst, bilder, diagrammer og grensesnitt på skjermen.
- Copilot baserer svaret ved å kombinere det den ser med Microsoft 365-arbeidsdataene dine, for eksempel dokumenter, e-postmeldinger og tidligere diskusjoner.
- Copilot svarer med tale i sanntid, slik at du kan stille oppfølgingsspørsmål i samme samtale.
Hva kan synet gjøre?
Her er noen av de nyttigste tingene du kan gjøre med synet:
- Analyser og forklar hva du ser på. Be Copilot om å tolke diagrammer, tabeller, lysbilder eller tett tekst. For eksempel «Oppsummer dette instrumentbordet og uthev eventuelle avvik».
- Gjør tilbakemelding om til neste trinn. Del en side i et dokument, en e-post eller chat, og spør: «Hvilken tilbakemelding fikk jeg om dette, og hva er mine neste trinn?»
- Få en prosjektstatusoppdatering. Del en tracker eller et arbeidselement, og spør «Gi meg en rask status for dette elementet, gjeldende eier og neste milepæl.»
- Få kontekst, trinnvis hjelp. Pek telefonkameraet mot en enhetsfeil, og spør: «Hvordan løser jeg denne feilen?»
Hva er begrensningene ved synet?
- Vision er bare tilgjengelig gjennom talechatter med Copilot for øyeblikket.
- Daglig bruk er basert på tilgjengelig kapasitet og bidrar til den daglige talebruken. Du blir varslet i Copilot-appen når du nærmer deg tilgjengelig bruk.
- Vision kan ikke lese videoer eller animerte GIF-er.
- Hvis du bytter for raskt mellom vinduer mens du stiller et spørsmål, kan det føre til at Copilot svarer basert på feil skjerminnhold.
- Vision kan ikke utføre handlinger eller direkte manipulere elementer på skjermen.
- Visjonen har ingen langsiktig tilbakekalling. Den gjenbruker ikke skjermer eller kamerainndata fra tidligere økter.
Obs!
Dette er egenskapene ved lansering. Kontinuerlige forbedringer kan løse noen av disse begrensningene over tid.
Hva har synet tilgang til?
Under en aktiv økt behandler Copilot skjerm- eller kamerainnholdet du velger å dele, sammen med Microsoft 365 arbeidsdata for å forankre svarene, for eksempel dokumenter, e-postmeldinger, møter og tidligere diskusjoner.
- Visuelle inndata er brukerinitierte og øktbundne, så Copilot fungerer bare med innhold som deles under den aktive økten.
- Delt skjerm- eller kamerainnhold behandles som en serie med bilder. Lyd- og videodata lagres midlertidig slik at du kan gi tilbakemelding til Microsoft, og slettes etter 48 timer.
- Teksttranskripsjoner fra talesamtaler lagres og administreres på samme måte som tekstsamtaler i Microsoft Copilot-appen.
- Vision overholder Microsofts forpliktelser på bedriftsnivå til datasikkerhet og personvern, og den utleder ikke sensitive personlige egenskaper som rase eller følelser.
Hvis du vil ha mer informasjon, kan du se Data, personvern og sikkerhet for Microsoft Copilot.
Hvilke typer innhold støttes?
Vision kan forstå en rekke innhold på skjermen og i den virkelige verden, inkludert:
- Tekst, bilder, diagrammer, tabeller og instrumentbord.
- Appgrensesnitt og arbeidsflyter med flere vinduer på skrivebordet.
- Fysiske objekter sett gjennom mobilkameraet.
Hvilke språk støttes?
Vision er tilgjengelig på alle språk som støttes av Microsoft Copilot. Noen språk kan være mer utsatt for uttale eller gjenkjennelsesforskjeller. Hvis du vil ha en fullstendig liste, kan du se Støttede språk for Microsoft Copilot.
Hvordan ble visjonssamtaler evaluert? Hvilke måledata brukes til å måle ytelse?
For å sikre kvalitet får Copilot testspørsmål, og svarene evalueres basert på kriterier som relevans, korrekthet, fullstendighet, tone og instruksjonsetterlevelse. For bedre å måle ytelsen går vi også gjennom funksjonsbruk, tommel opp-frekvens, engasjementsgrad og tilbakemeldinger fra brukere. Vi utfører også et bredt spekter av sikkerhetsevalueringer som sikrer at synet reagerer på en ansvarlig måte på skadelige spørsmål.
Hvordan gir jeg tilbakemelding om syn i Copilot?
Du kan gi tilbakemelding når du avslutter en talechat. Du skal se en tommel opp/ned i chatteloggen, som deles med Microsoft for funksjonsforbedringer. Vi bruker ikke tilbakemeldinger til å lære opp grunnmodellene som brukes av Copilot.