Zpracování obrazu v systému Microsoft 365 Copilot vám umožní sdílet plochu nebo mobilní kameru a zeptat se Copilota na to, co vidíte, přičemž odpovědi budou založené jak na sdíleném obsahu, tak na vašich pracovních datech. Pokud ho chcete začít používat, přečtěte si téma Začínáme s viděním v aplikaci Microsoft 365 Copilot.
Jak funguje vidění?
Vidění mění to, co sdílíte, na informace, které Copilot dokáže přezkoumat, a pak to zkombinuje s vašimi pracovními daty, aby vám nahlas odpověděl.
- Během hlasové konverzace můžete sdílet vizuální vstup: obrazovku plochy (ve Windows nebo na webu) nebo mobilní kameru.
- Copilot převádí sdílenou obrazovku nebo obsah kamery na data, která může analyzovat, včetně textu, obrázků, grafů a rozhraní na obrazovce.
- Copilot svou odpověď zdůvodňuje kombinací toho, co vidí, s vašimi pracovními daty Microsoft 365, jako jsou dokumenty, e-maily a dřívější diskuse.
- Copilot odpovídá hlasem v reálném čase, takže můžete ve stejné konverzaci pokládat navazující otázky.
Co dokáže zrak?
Tady jsou některé z nejužitečnějších věcí, které můžete s viděním dělat:
- Analyzujte a vysvětlete, na co se díváte. Požádejte Copilot o interpretaci grafů, tabulek, snímků nebo hustého textu. Například "Shrňte tento řídicí panel a zvýrazněte všechny anomálie."
- Proměňte zpětnou vazbu v dalších krocích. Sdílejte stránku dokumentu, e-mailu nebo chatu a zeptejte se: "Jakou zpětnou vazbu jsem obdržel(a) a jaké jsou další kroky?"
- Získejte aktuální informace o stavu projektu. Sdílejte sledování nebo pracovní položku a zeptejte se: "Dejte mi rychlý přehled o stavu této položky, aktuálního vlastníka a dalšího milníku."
- Získejte kontextovou nápovědu krok za krokem. Namiřte fotoaparát telefonu na chybu zařízení a zeptejte se: "Návody opravit tuto chybu?"
Jaká jsou omezení zraku?
- Vidění je momentálně dostupné jenom prostřednictvím hlasových konverzací s Copilotem.
- Denní používání vychází z dostupné kapacity a započítává se do vašeho každodenního využití hlasových služeb. Jakmile se budete blížit k dostupnému využití, budete v aplikaci Copilot upozorněni.
- Zrak neumí číst videa ani animované GIFy.
- Příliš rychlé přepínání mezi okny při kladení otázky může způsobit, že Copilot zareaguje na základě nesprávného obsahu obrazovky.
- Zrak nemůže provádět žádné akce ani přímo manipulovat s položkami na obrazovce.
- Vision nemá žádné dlouhodobé vybavování. Nepoužívá znovu obrazovky ani vstup z kamery z předchozích relací.
Poznámka
Toto jsou možnosti při spuštění. Průběžná vylepšení můžou časem některá z těchto omezení vyřešit.
K čemu má zrak přístup?
Během aktivní relace Copilot zpracovává obsah obrazovky nebo kamery, který se rozhodnete sdílet, spolu s vašimi pracovními daty Microsoft 365, aby ukotvil své odpovědi, jako jsou dokumenty, e-maily, schůzky a předchozí diskuse.
- Vizuální vstup je iniciovaný uživatelem a vázaný na relaci, takže Copilot funguje jenom s obsahem sdíleným během aktivní relace.
- Sdílená obrazovka nebo obsah fotoaparátu se zpracovává jako série obrázků. Zvuková a obrazová data jsou dočasně uložena, abyste mohli poskytnout zpětnou vazbu společnosti Microsoft, a po 48 hodinách jsou odstraněna.
- Textové přepisy z hlasových konverzací se v aplikaci Microsoft 365 Copilot ukládají a spravují stejným způsobem jako textové konverzace.
- Vision dodržuje závazky Microsoftu týkající se zabezpečení dat a ochrany osobních údajů na podnikové úrovni a neodvozuje citlivé osobní atributy, jako je rasa nebo emoce.
Další informace najdete v tématu Data, ochrana osobních údajů a zabezpečení pro Microsoft 365 Copilot.
Jaké typy obsahu jsou podporované?
Zrak dokáže porozumět celé řadě obsahu na obrazovce i v reálném světě, včetně:
- Text, obrázky, grafy, tabulky a řídicí panely.
- Rozhraní aplikací a pracovní postupy s více okny na ploše.
- Fyzické objekty prohlížené mobilním fotoaparátem.
Které jazyky jsou podporované?
Vidění je k dispozici ve všech jazycích, které Microsoft 365 Copilot podporuje. Některé jazyky můžou být náchylnější k rozdílům ve výslovnosti nebo rozpoznávání. Úplný seznam najdete v tématu Podporované jazyky pro Microsoft 365 Copilot.
Jak byly konverzace o zraku hodnoceny? Jaké metriky se používají k měření výkonu?
Aby byla zajištěna kvalita, Copilot dostane testovací otázky a jeho odpovědi jsou hodnoceny na základě kritérií, jako je relevance, správnost, úplnost, tón a dodržování pokynů. Abychom mohli lépe měřit výkon, kontrolujeme také používání funkcí, míru "palec nahoru", míru zapojení a zpětnou vazbu uživatelů. Provádíme také širokou škálu hodnocení bezpečnosti, která zajišťují, že zrak reaguje zodpovědně na škodlivé dotazy.
Návody poskytnout zpětnou vazbu k vidění v Copilotu?
Po ukončení hlasového chatu můžete poskytnout zpětnou vazbu. V historii chatu, která je sdílena s Microsoftem kvůli vylepšení funkcí, by se měl zobrazit palec nahoru/dolů. Tuto zpětnou vazbu nepoužíváme k trénování základních modelů používaných Copilotem.