Zrak v službe Microsoft 365 Copilot vám umožňuje zdieľať obrazovku pracovnej plochy alebo fotoaparát mobilného zariadenia a pýtať sa Copilota na to, čo vidíte, s odpoveďami založenými na zdieľanom obsahu aj pracovných údajoch. Ak ho chcete začať používať, pozrite si tému Začíname s víziou v službe Microsoft 365 Copilot.
Ako funguje zrak?
Zrak premení to, čo zdieľate, na informácie, ktoré Copilot dokáže analyzovať, potom ich kombinovať s vašimi pracovnými údajmi, aby vám nahlas odpovedal.
- Počas hlasovej konverzácie zdieľate vizuálny vstup: obrazovku pracovnej plochy (vo Windowse alebo na webe) alebo fotoaparát mobilného telefónu.
- Copilot konvertuje zdieľanú obrazovku alebo obsah fotoaparátu na údaje, ktoré dokáže analyzovať, vrátane textu, obrázkov, grafov a rozhraní na obrazovke.
- Copilot svoju odpoveď podloží kombináciou toho, čo vidí, s vašimi pracovnými údajmi v Microsoft 365, ako sú dokumenty, e-maily a predchádzajúce diskusie.
- Copilot odpovedá hlasom v reálnom čase, aby ste mohli klásť následné otázky v tej istej konverzácii.
Čo môže zrak robiť?
Tu je niekoľko najužitočnejších vecí, ktoré môžete robiť so zrakom:
- Analyzujte a vysvetlite, na čo sa pozeráte. Požiadajte Copilota o interpretáciu grafov, tabuliek, snímok alebo hustého textu. Napríklad "Zhrň túto tabuľu a zvýrazni všetky anomálie."
- Dajte pripomienky do ďalších krokov. Zdieľajte stranu dokumentu, e-mailu alebo chatu a spýtajte sa: "Aké pripomienky k tomu som dostal a aké sú moje ďalšie kroky?"
- Získajte aktualizáciu stavu projektu. Zdieľajte sledovanie alebo pracovnú položku a požiadajte o pomoc "Poskytnite mi stručný stav tejto položky, aktuálneho vlastníka a nasledujúci medzník."
- Získajte podrobné informácie o kontexte. Namierte fotoaparát telefónu na chybu zariadenia a spýtajte sa: Ako opravím túto chybu?
Aké sú obmedzenia zraku?
- Zrak je momentálne k dispozícii len prostredníctvom hlasových chatov s Copilotom.
- Denné používanie vychádza z dostupnej kapacity a započítava sa do denného používania hlasu. Oznámenie sa zobrazí v aplikácii Copilot, keď sa budete blížiť k dostupnému používaniu.
- Zrak nedokáže prečítať videá ani animované obrázky GIF.
- Príliš rýchle prepínanie medzi oknami pri kladení otázky môže spôsobiť, že Copilot odpovie na základe nesprávneho obsahu obrazovky.
- Zrak nemôže vykonávať akcie ani priamo manipulovať s položkami na obrazovke.
- Vision nemá dlhodobú spätnú väzbu. Opätovne nepoužíva obrazovky ani vstup z fotoaparátu z predchádzajúcich relácií.
Poznámka
Toto sú možnosti pri spustení. Priebežné vylepšenia môžu časom odstrániť niektoré z týchto obmedzení.
K čomu má zrak prístup?
Počas aktívnej relácie Copilot spracuje obsah obrazovky alebo fotoaparátu, ktorý sa rozhodnete zdieľať, spolu s vašimi pracovnými údajmi v Microsoft 365, aby podložil svoje odpovede, ako sú dokumenty, e-maily, schôdze a predchádzajúce diskusie.
- Vizuálny vstup je iniciovaný používateľom a viazaný na reláciu, takže Copilot pracuje iba s obsahom zdieľaným počas aktívnej relácie.
- Zdieľaná obrazovka alebo obsah fotoaparátu sa spracuje ako rad obrázkov. Údaje zvuku a videa sa dočasne ukladajú, aby ste mohli poskytnúť pripomienky spoločnosti Microsoft, a po 48 hodinách sa odstránia.
- Textové prepisy hlasových konverzácií sa ukladajú a spravujú rovnakým spôsobom ako textové konverzácie v aplikácii Microsoft 365 Copilot.
- Vision dodržiava záväzky spoločnosti Microsoft na podnikovej úrovni týkajúce sa zabezpečenia údajov a ochrany osobných údajov a neodvodzuje citlivé osobné vlastnosti, ako sú rasa alebo emócie.
Ďalšie informácie nájdete v téme Údaje, Ochrana osobných údajov a Zabezpečenie pre Microsoft 365 Copilot.
Aké typy obsahu sú podporované?
Zrak dokáže porozumieť širokej škále obsahu na obrazovke a obsahu z reálneho sveta vrátane:
- Text, obrázky, grafy, tabuľky a tabule.
- Rozhrania aplikácií a pracovné postupy s viacerými oknami v počítači.
- Fyzické objekty prezerané cez mobilnú kameru.
Ktoré jazyky sú podporované?
Zrak je k dispozícii vo všetkých jazykoch podporovaných službou Microsoft 365 Copilot. Niektoré jazyky môžu mať väčšiu pravdepodobnosť rozdielov vo výslovnosti alebo rozpoznávaní. Úplný zoznam nájdete v téme Podporované jazyky pre Microsoft 365 Copilot.
Ako sa hodnotili konverzácie o zraku? Aké metriky sa používajú na meranie výkonu?
Na zabezpečenie kvality Copilot dostáva testovacie otázky a jeho odpovede sa vyhodnocujú na základe kritérií, ako sú relevantnosť, správnosť, úplnosť, tón a dodržiavanie pokynov. Na lepšie meranie výkonu skúmame aj využívanie funkcií, mieru zapojenia palca, mieru zapojenia a spätnú väzbu od používateľov. Vykonávame tiež širokú škálu bezpečnostných hodnotení, ktoré zaisťujú, že zrak reaguje zodpovedne na škodlivé otázky.
Ako poskytnem pripomienky k zraku v Copilotovi?
Po ukončení hlasového chatu môžete poskytnúť spätnú väzbu. V histórii chatov, ktoré sa zdieľajú so spoločnosťou Microsoft na vylepšenie funkcií, by sa mal zobraziť palec hore/dole. Tieto pripomienky nepoužívame na trénovanie základných modelov, ktoré používa Copilot.