Vision i Microsoft Copilot giver dig mulighed for at dele din skrivebordsskærm eller dit mobilkamera og spørge Copilot om, hvad du ser, med svar, der er baseret på både det delte indhold og dine arbejdsdata. Hvis du vil begynde at bruge det, skal du se Kom i gang med vision i Microsoft Copilot.
Hvordan fungerer syn?
Vision forvandler det, du deler, til oplysninger, som Copilot kan ræsonnere over, og kombinerer det derefter med dine arbejdsdata for at svare dig højt.
- Du deler visuelle input under en stemmesamtale: din skrivebordsskærm (på Windows eller internettet) eller dit mobilkamera.
- Copilot konverterer indholdet af den delte skærm eller kameraet til data, den kan analysere, herunder tekst, billeder, diagrammer og grænseflader på skærmen.
- Copilot begrunder sit svar ved at kombinere det, den ser, med dine Microsoft 365-arbejdsdata, f.eks. dokumenter, mails og tidligere diskussioner.
- Copilot svarer med stemmen i realtid, så du kan stille opfølgende spørgsmål i den samme samtale.
Hvad kan synet gøre?
Her er nogle af de mest nyttige ting, du kan gøre med vision:
- Analysér og forklar, hvad du kigger på. Bed Copilot om at fortolke diagrammer, tabeller, slides eller tæt tekst. F.eks. "Opsummer dette dashboard, og fremhæv eventuelle uregelmæssigheder".
- Gør feedback til næste trin. Del en side i et dokument, en mail eller chat, og spørg: "Hvilken feedback fik jeg om dette, og hvad er mine næste trin?"
- Få en statusopdatering for projektet. Del en tracker eller et arbejdselement, og spørg: "Giv mig en hurtig status for dette element, den aktuelle ejer og den næste milepæl".
- Få trinvis hjælp i kontekst. Peg telefonens kamera mod en enhedsfejl, og spørg: "Hvordan løser jeg denne fejl?"
Hvad er begrænsningerne ved synet?
- Vision er kun tilgængelig via stemmechats med Copilot i øjeblikket.
- Daglig brug er baseret på tilgængelig kapacitet og tæller med i dit daglige taleforbrug. Du får besked i Copilot-appen, når du nærmer dig din tilgængelige brug.
- Vision kan ikke læse videoer eller animerede GIF-filer.
- Hvis du skifter for hurtigt mellem vinduer, mens du stiller et spørgsmål, kan det få Copilot til at reagere baseret på det forkerte skærmindhold.
- Vision kan ikke udføre handlinger eller direkte manipulere elementer på din skærm.
- Vision har ingen langsigtet tilbagekaldelse. Den genbruger ikke skærme eller kamerainput fra tidligere sessioner.
Bemærk
Dette er funktionerne ved starten. Løbende forbedringer kan løse nogle af disse begrænsninger over tid.
Hvad har synet adgang til?
Under en aktiv session behandler Copilot det skærm- eller kameraindhold, du vælger at dele, sammen med dine Microsoft 365-arbejdsdata for at basere sine svar, f.eks. dokumenter, mails, møder og tidligere diskussioner.
- Visuelt input er brugerinitieret og sessionsbundet, så Copilot fungerer kun med indhold, der deles under den aktive session.
- Delt skærm- eller kameraindhold behandles som en serie af billeder. Lyd- og videodata gemmes midlertidigt, så du kan give feedback til Microsoft, og de slettes efter 48 timer.
- Tekstafskrifter fra stemmesamtaler gemmes og administreres på samme måde som tekstsamtaler i Microsoft Copilot-appen.
- Vision overholder Microsofts forpligtelser i virksomhedsklasse til datasikkerhed og beskyttelse af personlige oplysninger og udleder ikke følsomme personlige attributter som race eller følelser.
Du kan få flere oplysninger under Data, Beskyttelse af personlige oplysninger og Sikkerhed for Microsoft Copilot.
Hvilke typer indhold understøttes?
Vision kan forstå et udvalg af indhold på skærmen og indhold fra den virkelige verden, herunder:
- Tekst, billeder, diagrammer, tabeller og dashboards.
- Appgrænseflader og arbejdsprocesser med flere vinduer på skrivebordet.
- Fysiske objekter, der vises gennem dit mobilkamera.
Hvilke sprog understøttes?
Vision er tilgængelig på alle sprog, der understøttes af Microsoft Copilot. Nogle sprog kan være mere tilbøjelige til at have forskelle i udtalen eller genkendelsen. Du kan få den komplette liste under Understøttede sprog til Microsoft Copilot.
Hvordan blev synssamtaler evalueret? Hvilke målepunkter bruges til at måle ydeevnen?
For at sikre kvaliteten får Copilot testspørgsmål, og dens svar evalueres ud fra kriterier som relevans, korrekthed, fuldstændighed, tone og overholdelse af instruktioner. For bedre at kunne måle ydeevnen gennemgår vi også brugen af funktioner, tommelfinger op-rate, engagementsfrekvens og brugerfeedback. Vi udfører også en lang række sikkerhedsevalueringer, der sikrer, at synet reagerer på en ansvarlig måde på skadelige forespørgsler.
Hvordan kan jeg give feedback om vision i Copilot?
Du kan give feedback, når du afslutter en stemmechat. Du bør se en tommelfinger op/ned i din chatoversigt, som deles med Microsoft for at forbedre funktionerne. Vi bruger ikke denne feedback til at træne de basismodeller, der bruges af Copilot.