Visi di Microsoft 365 Copilot memungkinkan Anda berbagi layar desktop atau kamera seluler dan bertanya Kepada Copilot tentang apa yang Anda lihat, dengan jawaban yang dilandasi dalam konten bersama dan data pekerjaan Anda. Untuk mulai menggunakannya, lihat Mulai dengan visi di Microsoft 365 Copilot.
Bagaimana cara kerja penglihatan?
Visi mengubah apa yang Anda bagikan menjadi informasi yang dapat dialihkan Oleh Copilot, lalu menggabungkannya dengan data kerja Anda untuk menjawabnya dengan lantang.
- Anda berbagi input visual selama percakapan suara: layar desktop Anda (di Windows atau web) atau kamera seluler Anda.
- Copilot mengonversi konten layar bersama atau kamera menjadi data yang dapat dianalisis, termasuk teks, gambar, bagan, dan antarmuka layar.
- Copilot menanggapinya dengan menggabungkan apa yang terlihat dengan data kerja Microsoft 365 Anda, seperti dokumen, email, dan diskusi sebelumnya.
- Copilot menjawab dengan suara secara real time, sehingga Anda bisa mengajukan pertanyaan tindak lanjut dalam percakapan yang sama.
Apa yang dapat dilakukan penglihatan?
Berikut adalah beberapa hal paling berguna yang dapat Anda lakukan dengan penglihatan:
- Analisis dan jelaskan apa yang Anda lihat. MintaLah Copilot untuk menginterpretasikan bagan, tabel, slide, atau teks padat. Misalnya, "Ringkas dasbor ini dan soroti semua anomali."
- Ubah umpan balik menjadi langkah berikutnya. Bagikan halaman dokumen, email, atau obrolan dan tanyakan, "Umpan balik apa yang saya terima tentang ini, dan apa langkah saya berikutnya?"
- Dapatkan pembaruan status proyek. Bagikan pelacak atau item kerja dan tanyakan, "Beri saya status cepat item ini, pemilik saat ini, dan tonggak pencapaian berikutnya."
- Dapatkan bantuan langkah demi langkah dalam konteks. Arahkan kamera telepon Anda ke kesalahan perangkat dan tanyakan, "Bagaimana cara memperbaiki kesalahan ini?"
Apa saja batasan penglihatan?
- Visi hanya tersedia melalui obrolan suara dengan Copilot saat ini.
- Penggunaan harian didasarkan pada kapasitas yang tersedia dan menghitung penggunaan suara harian Anda. Anda akan diberi tahu di aplikasi Copilot saat Anda mendekati penggunaan yang tersedia.
- Penglihatan tidak dapat membaca video atau ANIMASI GIF.
- Beralih antar jendela terlalu cepat saat mengajukan pertanyaan dapat menyebabkan Copilot merespons berdasarkan konten layar yang salah.
- Penglihatan tidak dapat mengambil tindakan atau memanipulasi item secara langsung di layar Anda.
- Visi tidak memiliki penarikan jangka panjang. Ini tidak menggunakan kembali layar atau input kamera dari sesi sebelumnya.
Catatan
Ini adalah kapabilitas saat peluncuran. Penyempurnaan yang sedang berlangsung dapat mengatasi beberapa batasan ini seiring waktu.
Apa visi memiliki akses ke?
Selama sesi aktif, Copilot memproses konten layar atau kamera yang Anda pilih untuk dibagikan, bersama dengan data kerja Microsoft 365 Anda untuk membumikan jawabannya, seperti dokumen, email, rapat, dan diskusi sebelumnya.
- Input visual dimulai oleh pengguna dan terikat sesi, sehingga Copilot hanya berfungsi dengan konten yang dibagikan selama sesi aktif.
- Konten layar bersama atau kamera diproses sebagai serangkaian gambar. Data audio dan video disimpan untuk sementara agar Anda dapat memberikan umpan balik ke Microsoft dan dihapus setelah 48 jam.
- Transkrip teks dari percakapan suara disimpan dan dikelola dengan cara yang sama seperti percakapan teks di aplikasi Microsoft 365 Copilot.
- Visi mematuhi komitmen microsoft tingkat perusahaan terhadap keamanan dan privasi data, dan tidak menyimpulkan atribut pribadi sensitif seperti ras atau emosi.
Untuk informasi selengkapnya, lihat Data, Privasi, dan Keamanan untuk Microsoft 365 Copilot.
Tipe konten apa yang didukung?
Visi dapat memahami berbagai konten di layar dan dunia nyata, termasuk:
- Teks, gambar, bagan, tabel, dan dasbor.
- Antarmuka aplikasi dan alur kerja multi-jendela di desktop.
- Objek fisik ditampilkan melalui kamera seluler Anda.
Bahasa mana yang didukung?
Visi tersedia dalam semua bahasa yang didukung oleh Microsoft 365 Copilot. Beberapa bahasa mungkin lebih rentan terhadap perbedaan pengucapan atau pengenalan. Untuk daftar lengkapnya, lihat Bahasa yang didukung untuk Microsoft 365 Copilot.
Bagaimana percakapan penglihatan dievaluasi? Metrik apa yang digunakan untuk mengukur performa?
Untuk memastikan kualitas, Copilot diberikan pertanyaan tes, dan responsnya dievaluasi berdasarkan kriteria seperti relevansi, kebenaran, kelengkapan, nada, dan ketaatan instruksi. Untuk mengukur kinerja dengan lebih baik, kami juga meninjau penggunaan fitur, tingkat thumb-up, tingkat keterlibatan, dan umpan balik pengguna. Kami juga melakukan berbagai evaluasi keamanan yang memastikan visi merespons dengan cara yang bertanggung jawab terhadap kueri berbahaya.
Bagaimana cara memberikan umpan balik tentang visi di Copilot?
Anda dapat memberikan umpan balik setelah mengakhiri obrolan suara. Anda akan melihat jempol naik/turun muncul di riwayat obrolan yang dibagikan dengan Microsoft untuk penyempurnaan fitur. Kami tidak menggunakan tanggapan ini untuk melatih model foundation yang digunakan oleh Copilot.