Vision in Microsoft 365 Copilot umożliwia udostępnianie ekranu pulpitu lub kamery mobilnej i zadawanie mu pytania o to, co widzisz, z odpowiedziami uziemionymi zarówno w udostępnionej zawartości, jak i w twoich danych służbowych. Aby zacząć z niego korzystać, zobacz Rozpoczynanie pracy z widzeniem w Microsoft 365 Copilot.
Jak działa wizja?
Vision przekształca to, co udostępniasz, w informacje, które Copilot może rozumować, a następnie łączy je z Twoimi danymi służbowymi, aby odpowiedzieć ci na głos.
- Podczas konwersacji głosowej udostępniasz dane wizualne: ekran pulpitu (w systemie Windows lub sieci Web) lub aparat fotograficzny na urządzeniu przenośnym.
- Funkcja Copilot konwertuje udostępniony ekran lub zawartość z aparatu na dane, które może analizować, w tym tekst, obrazy, wykresy i interfejsy ekranowe.
- Copilot uzasadnia swoją odpowiedź, łącząc to, co widzi, z Twoimi danymi służbowymi platformy Microsoft 365, takimi jak dokumenty, wiadomości e-mail i wcześniejsze dyskusje.
- Odpowiedzi copilot głosem w czasie rzeczywistym, dzięki czemu można zadawać dalsze pytania w tej samej konwersacji.
Co może robić wizja?
Oto niektóre z najbardziej przydatnych rzeczy, które można robić z wizją:
- Przeanalizuj i wyjaśnij, na co patrzysz. Poproś pozycję Copilot o interpretowanie wykresów, tabel, slajdów lub gęstego tekstu. Na przykład "Podsumuj ten pulpit nawigacyjny i wyróżnij wszelkie anomalie".
- Przekrój opinię w kolejne kroki. Udostępnij stronę dokumentu, wiadomości e-mail lub czatu i zapytaj: "Jakie opinie otrzymałem na ten temat i jakie są moje następne kroki?".
- Uzyskiwanie aktualizacji stanu projektu. Udostępnij element śledzący lub element roboczy i zapytaj: "Podaj mi szybki stan tego elementu, bieżącego właściciela i kolejny punkt kontrolny".
- Uzyskaj pomoc krok po kroku w kontekście. Skieruj aparat telefonu na błąd urządzenia i zapytaj: "Jak mogę naprawić ten błąd?".
Jakie są ograniczenia widzenia?
- Vision jest teraz dostępny tylko za pośrednictwem czatów głosowych z Copilot.
- Codzienne użytkowanie jest oparte na dostępnej pojemności i liczy się do codziennego użycia głosu. W miarę zbliżania się do dostępnego użycia otrzymasz powiadomienie w aplikacji Copilot.
- Program Vision nie może czytać filmów ani animowanych obrazów GIF.
- Zbyt szybkie przełączanie się między oknami podczas zadawania pytań może spowodować, że program Copilot odpowie na podstawie nieprawidłowej zawartości ekranu.
- Vision nie może podejmować działań ani bezpośrednio manipulować elementami na ekranie.
- Vision nie ma długoterminowego wycofania. Nie używa ponownie ekranów ani danych wejściowych z kamery z poprzednich sesji.
Uwaga
Oto możliwości, które są dostępne podczas uruchamiania. Bieżące ulepszenia mogą z czasem rozwiązać niektóre z tych ograniczeń.
Do czego ma dostęp wizja?
Podczas aktywnej sesji copilot przetwarza zawartość ekranu lub kamery, którą chcesz udostępnić, wraz z danymi służbowymi platformy Microsoft 365, aby uziemić odpowiedzi, takie jak dokumenty, wiadomości e-mail, spotkania i wcześniejsze dyskusje.
- Wprowadzanie danych wizualnych jest inicjowane przez użytkownika i powiązane z sesją, więc rozwiązanie Copilot działa tylko z zawartością udostępnianą podczas aktywnej sesji.
- Udostępniona zawartość ekranu lub aparatu jest przetwarzana jako seria obrazów. Dane audio i wideo są tymczasowo przechowywane w celu przekazania opinii firmie Microsoft i są usuwane po 48 godzinach.
- Transkrypcje tekstowe z konwersacji głosowych są przechowywane i zarządzane tak samo jak konwersacje tekstowe w aplikacji Microsoft 365 Copilot.
- Wizja jest zgodna z zobowiązaniami firmy Microsoft w zakresie bezpieczeństwa i prywatności danych klasy korporacyjnej i nie wywnioskuje wrażliwych atrybutów osobistych, takich jak rasa czy emocje.
Aby uzyskać więcej informacji, zobacz Dane, prywatność i zabezpieczenia Microsoft 365 Copilot.
Jakie typy zawartości są obsługiwane?
Program Vision może zrozumieć szereg treści wyświetlanych na ekranie i w świecie rzeczywistym, w tym:
- Tekst, obrazy, wykresy, tabele i pulpity nawigacyjne.
- Interfejsy aplikacji i przepływy pracy z wieloma oknami na komputerze.
- Obiekty fizyczne wyświetlane przez kamerę mobilną.
Które języki są obsługiwane?
Program Vision jest dostępny we wszystkich językach obsługiwanych przez Microsoft 365 Copilot. Niektóre języki mogą być bardziej podatne na różnice wymowy lub rozpoznawania. Aby zapoznać się z pełną listą, zobacz Obsługiwane języki dla Microsoft 365 Copilot.
Jak oceniano konwersacje wizji? Jakie metryki są używane do mierzenia wydajności?
W celu zapewnienia jakości, Copilot otrzymuje pytania testowe, a jego odpowiedzi są oceniane na podstawie kryteriów, takich jak istotność, poprawność, kompletność, ton i przestrzeganie instrukcji. Aby lepiej mierzyć wydajność, sprawdzamy również użycie funkcji, szybkość obsługi, szybkość zaangażowania i opinie użytkowników. Prowadzimy również szeroką gamę ocen bezpieczeństwa, które zapewniają, że wzrok reaguje w sposób odpowiedzialny na szkodliwe zapytania.
Jak mogę przekazać opinię na temat wizji w Copilot?
Po zakończeniu czatu głosowego możesz przekazać opinię. W historii czatu, która jest udostępniana firmie Microsoft, powinny zostać wyświetlone kciuki w górę/w dół w celu ulepszenia funkcji. Nie używamy tych opinii do szkolenia modeli podstawowych używanych przez copilot.