Tầm nhìn trong Microsoft Copilot cho phép bạn chia sẻ màn hình máy tính hoặc camera di động của mình và hỏi Copilot về những gì bạn đang xem, với câu trả lời dựa trên cả nội dung được chia sẻ và dữ liệu công việc của bạn. Để bắt đầu sử dụng tính năng này, hãy xem Bắt đầu với hình ảnh trong Microsoft Copilot.
Tầm nhìn hoạt động như thế nào?
Tầm nhìn biến những gì bạn chia sẻ thành thông tin mà Copilot có thể suy luận, sau đó kết hợp với dữ liệu công việc của bạn để trả lời bạn.
- Bạn chia sẻ dữ liệu nhập bằng hình ảnh trong cuộc hội thoại thoại: màn hình máy tính (trên Windows hoặc web) hoặc camera di động của bạn.
- Copilot chuyển đổi nội dung camera hoặc màn hình được chia sẻ thành dữ liệu mà nó có thể phân tích, bao gồm văn bản, hình ảnh, biểu đồ và giao diện trên màn hình.
- Copilot tạo cơ sở cho phản hồi của mình bằng cách kết hợp những gì nó thấy với dữ liệu công việc Microsoft 365 của bạn, chẳng hạn như tài liệu, email và các cuộc thảo luận trước đó.
- Copilot trả lời bằng giọng nói trong thời gian thực, vì vậy bạn có thể đặt các câu hỏi tiếp theo trong cùng một cuộc hội thoại.
Thị lực có thể làm gì?
Dưới đây là một số điều hữu ích nhất bạn có thể làm với thị lực:
- Phân tích và giải thích những gì bạn đang xem. Yêu cầu Copilot diễn giải các biểu đồ, bảng, trang chiếu hoặc văn bản dày đặc. Ví dụ: "Tóm tắt bảng điều khiển này và tô sáng bất kỳ điều bất thường nào."
- Chuyển phản hồi thành các bước tiếp theo. Chia sẻ một trang của tài liệu, email hoặc cuộc trò chuyện và hỏi: "Tôi đã nhận được phản hồi gì về điều này và các bước tiếp theo là gì?"
- Nhận cập nhật tình trạng dự án. Chia sẻ mục công việc hoặc trình theo dõi và hỏi: "Hãy cho tôi biết trạng thái nhanh của mục này, chủ sở hữu hiện tại và mốc tiếp theo."
- Nhận trợ giúp từng bước, theo ngữ cảnh. Trỏ camera điện thoại vào một lỗi thiết bị và hỏi "Làm cách nào để khắc phục lỗi này?"
Những hạn chế của thị lực là gì?
- Hiện tại, bạn chỉ có thể nhìn thông qua trò chuyện thoại với Copilot.
- Mức sử dụng hàng ngày dựa trên dung lượng sẵn có và được tính vào mức sử dụng thoại hàng ngày của bạn. Bạn sẽ được thông báo trong ứng dụng Copilot khi tiếp cận đến mức sử dụng sẵn có của mình.
- Vision không thể đọc video hay GIF động.
- Chuyển đổi giữa các cửa sổ quá nhanh trong khi đặt câu hỏi có thể khiến Copilot phản hồi dựa trên nội dung màn hình sai.
- Vision không thể thực hiện hành động hoặc trực tiếp thao tác các vật phẩm trên màn hình của bạn.
- Tầm nhìn không có khả năng nhớ lại lâu dài. Tính năng này không sử dụng lại màn hình hoặc đầu vào camera từ các phiên trước.
Lưu ý
Đây là các khả năng khi ra mắt. Các cải tiến liên tục có thể giải quyết một số hạn chế này theo thời gian.
Thị lực có quyền truy cập những gì?
Trong một phiên đang hoạt động, Copilot sẽ xử lý nội dung màn hình hoặc camera mà bạn chọn chia sẻ, cùng với dữ liệu công việc Microsoft 365 của bạn để làm cơ sở cho câu trả lời của chúng, chẳng hạn như tài liệu, email, cuộc họp và các cuộc thảo luận trước đó.
- Đầu vào trực quan do người dùng khởi tạo và gắn kết theo phiên, vì vậy Copilot chỉ hoạt động với nội dung được chia sẻ trong phiên hiện hoạt.
- Nội dung camera hoặc màn hình được chia sẻ được xử lý dưới dạng một chuỗi hình ảnh. Dữ liệu âm thanh và video được lưu trữ tạm thời để bạn cung cấp phản hồi cho Microsoft và sẽ bị xóa sau 48 giờ.
- Bản chép lại văn bản từ cuộc hội thoại thoại được lưu trữ và quản lý theo cách tương tự như cuộc hội thoại văn bản trong ứng dụng Microsoft Copilot.
- Vision tuân thủ các cam kết cấp doanh nghiệp của Microsoft về bảo mật dữ liệu và quyền riêng tư, đồng thời không suy ra các thuộc tính cá nhân nhạy cảm như chủng tộc hay cảm xúc.
Để biết thêm thông tin, hãy xem Dữ liệu, Quyền riêng tư và Bảo mật đối với Microsoft Copilot.
Loại nội dung nào được hỗ trợ?
Vision có thể hiểu nhiều nội dung trên màn hình và trong thế giới thực, bao gồm:
- Văn bản, hình ảnh, biểu đồ, bảng và bảng điều khiển.
- Giao diện ứng dụng và quy trình làm việc nhiều cửa sổ trên máy tính để bàn.
- Các đối tượng vật lý được xem qua camera di động của bạn.
Những ngôn ngữ nào được hỗ trợ?
Tìm kiếm thị lực có sẵn ở tất cả các ngôn ngữ được Microsoft Copilot hỗ trợ. Một số ngôn ngữ có thể dễ gặp sự khác biệt về phát âm hoặc nhận dạng hơn. Để biết danh sách đầy đủ, hãy xem các ngôn ngữ được hỗ trợ cho Microsoft Copilot.
Các cuộc hội thoại về thị giác được đánh giá như thế nào? Số liệu nào được sử dụng để đo hiệu suất?
Để đảm bảo chất lượng, Copilot được cung cấp các câu hỏi kiểm tra và các câu trả lời của nó được đánh giá dựa trên các tiêu chí như mức độ liên quan, tính chính xác, tính hoàn chỉnh, giọng điệu và sự tuân thủ của hướng dẫn. Để đánh giá hiệu suất tốt hơn, chúng tôi cũng đánh giá mức sử dụng tính năng, tỷ lệ tán thưởng, tỷ lệ tương tác và phản hồi của người dùng. Chúng tôi cũng tiến hành một loạt các đánh giá an toàn để đảm bảo thị lực phản hồi một cách có trách nhiệm đối với các câu hỏi có hại.
Làm cách nào để cung cấp phản hồi về thị lực trong Copilot?
Bạn có thể cung cấp phản hồi sau khi kết thúc cuộc trò chuyện bằng giọng nói. Bạn sẽ thấy nút thích/ngón tay cái hướng lên / xuống xuất hiện trong lịch sử trò chuyện được chia sẻ với Microsoft để cải thiện tính năng. Chúng tôi không sử dụng phản hồi này để đào tạo các mô hình nền tảng được sử dụng bởi Copilot.