Asystent przeglądania w aplikacji Microsoft Copilot umożliwia udostępnianie ekranu komputera stacjonarnego lub aparatu mobilnego i zadawanie pytań funkcji Copilot o to, co widzisz, z odpowiedziami opartymi zarówno na udostępnionej zawartości, jak i danych służbowych. Aby zacząć z niego korzystać, zobacz Wprowadzenie do przeglądania w aplikacji Microsoft Copilot.
Jak działa wzrok?
Asystent przeglądania przekształca to, co udostępniasz, w informacje, które funkcja Copilot analizuje, a następnie łączy je z danymi służbowymi, aby odpowiedzieć Ci na głos.
- Podczas konwersacji głosowej udostępniasz elementy wizualne: ekran komputera (w systemie Windows lub w Internecie) lub kamerę urządzenia przenośnego.
- Funkcja Copilot konwertuje zawartość udostępnionego ekranu lub kamery na dane, które może analizować, w tym tekst, obrazy, wykresy i interfejsy ekranowe.
- Rozwiązanie Copilot opiera swoją odpowiedź, łącząc to, co widzi z danymi służbowymi platformy Microsoft 365, takimi jak dokumenty, wiadomości e-mail i wcześniejsze dyskusje.
- Funkcja Copilot odpowiada głosowo w czasie rzeczywistym, dzięki czemu możesz zadawać dodatkowe pytania w tej samej konwersacji.
Co może zrobić wzrok?
Oto niektóre z najbardziej przydatnych funkcji wzroku:
- Przeanalizuj i wyjaśnij, na co patrzysz. Poproś funkcję Copilot o interpretację wykresów, tabel, slajdów lub gęstego tekstu. Na przykład "Podsumuj ten pulpit nawigacyjny i wyróżnij wszelkie anomalie".
- Przekształć opinie w kolejne kroki. Udostępnij stronę dokumentu, wiadomość e-mail lub czat i zapytaj: "Jakie opinie otrzymałem w tej sprawie i jakie mam następne kroki?".
- Uzyskiwanie aktualizacji stanu projektu. Udostępnij narzędzie do śledzenia lub element roboczy i zapytaj: "Podaj szybki stan tego elementu, bieżącego właściciela i następny punkt kontrolny".
- Uzyskaj pomoc krok po kroku w kontekście. Skieruj aparat telefonu na błąd urządzenia i zapytaj: "Jak mogę naprawić ten błąd?".
Jakie są ograniczenia wzroku?
- Widzenie jest obecnie dostępne tylko za pośrednictwem czatów głosowych z funkcją Copilot.
- Dzienne użycie jest oparte na dostępnej pojemności i wlicza się do dziennego użycia głosu. W aplikacji Copilot otrzymasz powiadomienie, gdy zbliżysz się do dostępnego użycia.
- Wzrok nie odczytuje klipów wideo ani animowanych plików GIF.
- Zbyt szybkie przełączanie się między oknami podczas zadawania pytania może spowodować, że funkcja Copilot odpowie na podstawie niewłaściwej zawartości ekranu.
- Asystent przeglądania nie może podejmować działań ani bezpośrednio manipulować elementami na ekranie.
- Wizja nie ma długoterminowej pamięci. Nie używa ponownie ekranów ani danych wejściowych z kamery z poprzednich sesji.
Uwaga
To są możliwości dostępne w momencie premiery. Ciągłe ulepszenia mogą z czasem usuwać niektóre z tych ograniczeń.
Do czego wzrok ma dostęp?
Podczas aktywnej sesji funkcja Copilot przetwarza zawartość ekranu lub kamery, którą zdecydujesz się udostępnić, wraz z danymi służbowymi platformy Microsoft 365, aby ugruntować swoje odpowiedzi, takie jak dokumenty, wiadomości e-mail, spotkania i wcześniejsze dyskusje.
- Wprowadzanie danych wizualnych jest inicjowane przez użytkownika i powiązane z sesją, dlatego funkcja Copilot działa tylko z zawartością udostępnioną podczas aktywnej sesji.
- Zawartość udostępnionego ekranu lub obrazu z kamery jest przetwarzana jako seria obrazów. Dane audio i wideo są tymczasowo przechowywane na potrzeby przekazania opinii firmie Microsoft i są usuwane po 48 godzinach.
- Transkrypcje tekstowe z konwersacji głosowych są przechowywane i zarządzane w taki sam sposób jak konwersacje tekstowe w aplikacji Microsoft Copilot.
- Vision przestrzega zobowiązań klasy korporacyjnej firmy Microsoft dotyczących bezpieczeństwa i prywatności danych i nie wnioskuje o wrażliwych atrybutach osobistych, takich jak rasa czy emocje.
Aby uzyskać więcej informacji, zobacz Dane, prywatność i zabezpieczenia dla usługi Microsoft Copilot.
Jakie typy zawartości są obsługiwane?
Funkcja Widzenie rozumie całą gamę zawartości wyświetlanej na ekranie i ze świata rzeczywistego, w tym:
- Tekst, obrazy, wykresy, tabele i pulpity nawigacyjne.
- Interfejsy aplikacji i przepływy pracy z wieloma oknami na pulpicie.
- Obiekty fizyczne oglądane za pomocą aparatu urządzenia przenośnego.
Które języki są obsługiwane?
Asystent przeglądania jest dostępny we wszystkich językach obsługiwanych przez funkcję Microsoft Copilot. Niektóre języki mogą być bardziej podatne na różnice w wymowie lub rozpoznawaniu. Aby uzyskać pełną listę, zobacz Obsługiwane języki dla funkcji Microsoft Copilot.
Jak oceniano rozmowy dotyczące wizji? Jakie metryki są używane do mierzenia wydajności?
Aby zapewnić jakość, funkcja Copilot otrzymuje pytania testowe, a jej odpowiedzi są oceniane na podstawie kryteriów takich jak trafność, poprawność, kompletność, ton i przestrzeganie instrukcji. Aby lepiej zmierzyć wydajność, sprawdzamy również wykorzystanie funkcji, współczynnik kciuków w górę, współczynnik zaangażowania i opinie użytkowników. Przeprowadzamy również szeroki zakres ocen bezpieczeństwa, które zapewniają, że wzrok reaguje w odpowiedzialny sposób na szkodliwe zapytania.
Jak mogę przekazać opinię na temat widzenia w usłudze Copilot?
Po zakończeniu rozmowy głosowej możesz przekazać opinię. Powinien zostać wyświetlony kciuk w górę/w dół w historii czatu, która jest udostępniana firmie Microsoft w celu ulepszenia funkcji. Nie używamy tych opinii do trenowania modeli podstawowych używanych przez usługę Copilot.