Med Vision i Microsoft Copilot kan du dela skrivbordsskärmen eller mobilkameran och fråga Copilot om vad du ser, med svar baserade på både det delade innehållet och dina arbetsdata. Information om hur du börjar använda den finns i Kom igång med vision i Microsoft Copilot.
Hur fungerar synen?
Vision omvandlar det du delar till information som Copilot kan resonera kring och kombinerar den sedan med dina arbetsdata för att svara dig högt.
- Du delar visuella indata under en röstkonversation: på skrivbordsskärmen (i Windows eller på webben) eller din mobilkamera.
- Copilot konverterar innehåll på delad skärm eller kamera till data som kan analyseras, inklusive text, bilder, diagram och gränssnitt på skärmen.
- Copilot grundar sitt svar genom att kombinera det det ser med dina Microsoft 365 arbetsdata, till exempel dokument, e-postmeddelanden och tidigare diskussioner.
- Copilot svarar med röst i realtid, så att du kan ställa uppföljningsfrågor i samma konversation.
Vad kan synen göra?
Här är några av de mest användbara sakerna du kan göra med synen:
- Analysera och förklara vad det är du tittar på. Be Copilot tolka diagram, tabeller, bilder eller tät text. Till exempel "Sammanfatta den här instrumentpanelen och markera eventuella avvikelser".
- Omvandla feedback till nästa steg. Dela en sida i ett dokument, ett e-postmeddelande eller en chatt och fråga: "Vilken feedback har jag fått på det här, och vad är mina nästa steg?"
- Få en uppdatering om projektstatusen. Dela en spårare eller ett arbetsobjekt och fråga "Ge mig en snabbstatus för det här objektet, den aktuella ägaren och nästa milstolpe."
- Få steg-för-steg-hjälp i sammanhanget. Rikta telefonens kamera mot ett enhetsfel och fråga "Hur gör jag för att åtgärda det här felet?"
Vilka är synens begränsningar?
- Vision är endast tillgängligt via röstchatt med Copilot just nu.
- Den dagliga användningen baseras på den tillgängliga kapaciteten och räknas in i din dagliga röstanvändning. Du får ett meddelande i Copilot-appen när du närmar dig din tillgängliga användning.
- Vision kan inte läsa videor eller animerade GIF-bilder.
- Om du växlar för snabbt mellan fönster när du ställer en fråga kan Copilot svara baserat på fel skärminnehåll.
- Synen kan inte vidta åtgärder eller direkt manipulera objekt på skärmen.
- Visionen har ingen långsiktig återkallelse. Den återanvänder inte skärmar eller kameraindata från tidigare sessioner.
Obs
Det här är funktionerna vid lanseringen. Löpande förbättringar kan åtgärda några av dessa begränsningar över tid.
Vad har synen tillgång till?
Under en aktiv session bearbetar Copilot det skärm- eller kamerainnehåll som du väljer att dela, tillsammans med dina Microsoft 365-arbetsdata för att grunda svaren, till exempel dokument, e-postmeddelanden, möten och tidigare diskussioner.
- Visuella indata är användarinitierade och sessionsbundna, så Copilot fungerar bara med innehåll som delas under den aktiva sessionen.
- Innehåll på delad skärm eller kamera bearbetas som en serie bilder. Ljud- och videodata lagras tillfälligt så att du kan ge feedback till Microsoft och tas bort efter 48 timmar.
- Texttranskriptioner från röstkonversationer lagras och hanteras på samma sätt som textkonversationer i Microsoft Copilot-appen.
- Vision följer Microsofts åtaganden i företagsklass gällande datasäkerhet och sekretess och härleder inte känsliga personliga attribut som ras eller känslor.
Mer information finns i Data, sekretess och säkerhet för Microsoft Copilot.
Vilka typer av innehåll stöds?
Vision kan förstå en rad olika innehåll på skärmen och i verkligheten, inklusive:
- Text, bilder, diagram, tabeller och instrumentpaneler.
- Appgränssnitt och arbetsflöden med flera fönster på skrivbordet.
- Fysiska objekt som visas via din mobilkamera.
Vilka språk stöds?
Vision är tillgängligt på alla språk som stöds av Microsoft Copilot. Vissa språk kan vara mer benägna att drabbas av skillnader i uttal eller igenkänning. En fullständig lista finns i Språk som stöds för Microsoft Copilot.
Hur utvärderades synsamtalen? Vilka mått används för att mäta prestanda?
För att säkerställa kvalitet får Copilot testfrågor och dess svar utvärderas baserat på kriterier som relevans, korrekthet, fullständighet, ton och instruktionsföljsamhet. För att bättre kunna mäta prestanda granskar vi även funktionsanvändning, thumb-up-frekvens, interaktionsfrekvens och feedback från användare. Vi genomför också ett brett utbud av säkerhetsutvärderingar som säkerställer att visionen svarar på ett ansvarsfullt sätt på skadliga frågor.
Hur gör jag för att ge feedback om vision i Copilot?
Du kan ge feedback när du avslutar en röstchatt. Du bör se en tumme upp/ned visas i din chatthistorik som delas med Microsoft för funktionsförbättringar. Vi använder inte den här feedbacken för att träna de grundmodeller som används av Copilot.