Vision di Microsoft Copilot memungkinkan Anda berbagi layar desktop atau kamera seluler dan bertanya kepada Copilot tentang apa yang sedang Anda lihat, dengan jawaban yang didasarkan pada konten bersama dan data kerja Anda. Untuk mulai menggunakannya, lihat Mulai menggunakan visi di Microsoft Copilot.
Bagaimana cara kerja penglihatan?
Visi mengubah apa yang Anda bagikan menjadi informasi yang dapat dipikirkan Copilot, lalu menggabungkannya dengan data pekerjaan Anda untuk menjawab Anda dengan lantang.
- Anda berbagi input visual selama percakapan suara: layar desktop (di Windows atau web) atau kamera seluler Anda.
- Copilot mengonversi konten layar atau kamera bersama menjadi data yang dapat dianalisis, termasuk teks, gambar, bagan, dan antarmuka di layar.
- Copilot mendasarkan responsnya dengan menggabungkan apa yang dilihatnya dengan data kerja Microsoft 365 Anda, seperti dokumen, email, dan diskusi sebelumnya.
- Copilot menjawab dengan suara secara real time sehingga Anda dapat mengajukan pertanyaan tindak lanjut dalam percakapan yang sama.
Apa yang bisa dilakukan penglihatan?
Berikut adalah beberapa hal paling berguna yang dapat Anda lakukan dengan penglihatan:
- Menganalisis dan menjelaskan apa yang Anda lihat. Minta Copilot untuk menafsirkan bagan, tabel, slide, atau teks padat. Misalnya, "Ringkas dasbor ini dan soroti anomali apa pun."
- Ubah umpan balik menjadi langkah berikutnya. Bagikan halaman dokumen, email, atau obrolan dan tanyakan, "Umpan balik apa yang saya terima tentang hal ini, dan apa langkah saya selanjutnya?"
- Dapatkan pembaruan status proyek. Bagikan pelacak atau item kerja dan tanyakan, "Beri saya status cepat tentang item ini, pemilik saat ini, dan pencapaian berikutnya."
- Dapatkan bantuan dalam konteks langkah demi langkah. Arahkan kamera ponsel Anda ke kesalahan perangkat dan tanyakan, "Bagaimana cara memperbaiki kesalahan ini?"
Apa saja keterbatasan penglihatan?
- Visual hanya tersedia melalui obrolan suara dengan Copilot sekarang.
- Penggunaan harian didasarkan pada kapasitas yang tersedia dan dihitung dalam penggunaan suara harian Anda. Anda akan diberi tahu di aplikasi Copilot saat Anda mendekati penggunaan yang tersedia.
- Vision tidak dapat membaca video atau animasi GIF.
- Beralih antar jendela terlalu cepat saat mengajukan pertanyaan dapat menyebabkan Copilot merespons berdasarkan konten layar yang salah.
- Vision tidak dapat mengambil tindakan atau secara langsung memanipulasi item di layar Anda.
- Penglihatan tidak memiliki ingatan jangka panjang. Fitur ini tidak menggunakan kembali layar atau input kamera dari sesi sebelumnya.
Catatan
Ini adalah kemampuan saat peluncuran. Penyempurnaan yang berkelanjutan dapat mengatasi beberapa keterbatasan ini dari waktu ke waktu.
Apa yang dapat diakses oleh penglihatan?
Selama sesi aktif, Copilot memproses konten layar atau kamera yang Anda pilih untuk dibagikan, bersama dengan data kerja Microsoft 365 untuk mendasarkan jawabannya, seperti dokumen, email, rapat, dan diskusi sebelumnya.
- Input visual dimulai pengguna dan terikat sesi, sehingga Copilot hanya berfungsi dengan konten yang dibagikan selama sesi aktif.
- Konten layar atau kamera bersama diproses sebagai serangkaian gambar. Data audio dan video disimpan sementara agar Anda dapat memberikan umpan balik ke Microsoft dan akan dihapus setelah 48 jam.
- Transkrip teks dari percakapan suara disimpan dan dikelola dengan cara yang sama seperti percakapan teks di aplikasi Microsoft Copilot.
- Visi mematuhi komitmen tingkat perusahaan Microsoft terhadap keamanan dan privasi data, dan tidak menyimpulkan atribut pribadi yang sensitif seperti ras atau emosi.
Untuk informasi selengkapnya, lihat Data, Privasi, dan Keamanan untuk Microsoft Copilot.
Jenis konten apa saja yang didukung?
Vision dapat memahami berbagai konten di layar dan dunia nyata, termasuk:
- Teks, gambar, bagan, tabel, dan dasbor.
- Antarmuka aplikasi dan alur kerja multi-jendela di desktop.
- Objek fisik dilihat melalui kamera ponsel Anda.
Bahasa apa yang didukung?
Vision tersedia dalam semua bahasa yang didukung oleh Microsoft Copilot. Beberapa bahasa mungkin lebih rentan terhadap perbedaan pengucapan atau pengenalan. Untuk daftar lengkap, lihat Bahasa yang didukung untuk Microsoft Copilot.
Bagaimana percakapan penglihatan dievaluasi? Metrik apa yang digunakan untuk mengukur performa?
Untuk memastikan kualitas, Copilot diberi pertanyaan tes, dan responsnya dievaluasi berdasarkan kriteria seperti relevansi, kebenaran, kelengkapan, nada, dan kepatuhan instruksi. Untuk mengukur kinerja dengan lebih baik, kami juga meninjau penggunaan fitur, rasio jempol, tingkat keterlibatan, dan umpan balik pengguna. Kami juga melakukan berbagai evaluasi keamanan yang memastikan penglihatan merespons kueri berbahaya dengan cara yang bertanggung jawab.
Bagaimana cara memberikan umpan balik tentang visi di Copilot?
Anda dapat memberikan umpan balik setelah mengakhiri obrolan suara. Anda akan melihat jempol ke atas/bawah muncul di riwayat obrolan yang dibagikan dengan Microsoft untuk penyempurnaan fitur. Kami tidak menggunakan umpan balik ini untuk melatih model dasar yang digunakan oleh Copilot.