Med Vision i Microsoft 365 Copilot kan du dela din skrivbordsskärm eller mobilkamera och fråga Copilot om vad du ser med hjälp av svaren i både det delade innehållet och dina arbetsdata. Information om hur du börjar använda det finns i Komma igång med vision i Microsoft 365 Copilot.
Hur fungerar visionen?
Vision omvandlar det du delar till information som Copilot kan resonera över och kombinerar det sedan med dina arbetsdata för att svara dig högt.
- Du delar visuell inmatning under en röstkonversation: skrivbordsskärmen (på Windows eller webben) eller din mobilkamera.
- Copilot konverterar den delade skärmen eller kamerainnehållet till data som kan analyseras, inklusive text, bilder, diagram och gränssnitt på skärmen.
- Copilot motiverar sitt svar genom att kombinera vad det ser med dina Microsoft 365-arbetsdata, till exempel dokument, e-postmeddelanden och tidigare diskussioner.
- Copilot svarar med röst i realtid så att du kan ställa uppföljningsfrågor i samma konversation.
Vad kan vision göra?
Här är några av de mest användbara sakerna du kan göra med syn:
- Analysera och förklara vad du tittar på. Be Copilot att tolka diagram, tabeller, bilder eller tät text. Till exempel "Summera den här instrumentpanelen och markera eventuella avvikelser".
- Omvandla feedback till nästa steg. Dela en sida i ett dokument, ett e-postmeddelande eller en chatt och fråga: "Vilken feedback fick jag om detta och vad är mina nästa steg?".
- Hämta en uppdatering av projektets status. Dela en spårare eller arbetsuppgift och fråga "Ge mig en snabb status för det här objektet, den aktuella ägaren och nästa milstolpe.".
- Få stegvis hjälp med kontext. Rikta telefonens kamera mot ett enhetsfel och fråga "Hur gör jag för att åtgärda det här felet?".
Vilka är synbegränsningarna?
- Vision är bara tillgängligt via röstchatt med Copilot just nu.
- Daglig användning baseras på den tillgängliga kapaciteten och räknar med din dagliga röstanvändning. Du meddelas i Copilot-appen när du närmar dig den tillgängliga användningen.
- Vision kan inte läsa videor eller animerade GIF-filer.
- Om du växlar mellan fönster för snabbt när du ställer en fråga kan Copilot svara baserat på fel skärminnehåll.
- Vision kan inte vidta åtgärder eller direkt ändra objekt på skärmen.
- Vision har ingen långsiktig återkallelse. Skärmen eller kamerainmatningen återanvänds inte från tidigare sessioner.
Obs
Det här är de funktioner som finns vid lanseringen. Pågående förbättringar kan åtgärda vissa av dessa begränsningar med tiden.
Vad har vision tillgång till?
Under en aktiv session bearbetar Copilot skärm- eller kamerainnehållet som du väljer att dela, tillsammans med dina Microsoft 365-arbetsdata för att grunda sina svar, till exempel dokument, e-postmeddelanden, möten och tidigare diskussioner.
- Visuell inmatning är användarinitierad och sessionsbunden, så Copilot fungerar bara med innehåll som delas under den aktiva sessionen.
- Delat skärm- eller kamerainnehåll bearbetas som en serie bilder. Ljud- och videodata lagras tillfälligt så att du kan lämna feedback till Microsoft och tas bort efter 48 timmar.
- Textutskrifter från röstkonversationer lagras och hanteras på samma sätt som textkonversationer i appen Microsoft 365 Copilot.
- Vision följer Microsofts åtaganden i företagsklass för datasäkerhet och sekretess, och härleder inte känsliga personliga attribut som ras eller känslor.
Mer information finns i Data, Sekretess och säkerhet för Microsoft 365 Copilot.
Vilka typer av innehåll stöds?
Vision kan förstå en rad olika typer av innehåll på skärmen och i verkligheten, bland annat:
- Text, bilder, diagram, tabeller och instrumentpaneler.
- Appgränssnitt och arbetsflöden med flera fönster på skrivbordet.
- Fysiska objekt som visas via din mobilkamera.
Vilka språk stöds?
Vision är tillgängligt på alla språk som stöds av Microsoft 365 Copilot. Vissa språk kan vara mer benägna att uttals- eller igenkänningsskillnader. En fullständig lista finns i Språk som stöds för Microsoft 365 Copilot.
Hur utvärderades visionskonversationer? Vilka mått används för att mäta prestanda?
För att säkerställa kvalitet får Copilot testfrågor och dess svar utvärderas baserat på kriterier som relevans, korrekthet, fullständighet, ton och instruktionsföljning. För att bättre kunna mäta prestanda granskar vi även funktionsanvändning, tumknappsuppgång, engagemangsfrekvens och feedback från användare. Vi genomför också en rad säkerhetsutvärderingar som säkerställer att visionen svarar på ett ansvarsfullt sätt på skadliga frågor.
Hur gör jag för att ge feedback om visioner i Copilot?
Du kan ge feedback när du har avslutat en röstchatt. Du bör se att tummen upp/ned visas i chatthistoriken som delas med Microsoft för funktionsförbättringar. Vi använder inte den här feedbacken för att utbilda grundmodellerna som copilot använder.