Sử dụng Copilot Vision với Microsoft Copilot

Microsoft Copilot Vision là một cách mới để AI hoạt động với bạn khi bạn sử dụng PC hoặc máy Mac chạy Windows, điều hướng web trong Microsoft Edge hoặc xem thế giới từ điện thoại của bạn.  Điều này giống như một tập hợp mắt thứ hai có thể quét, phân tích và cung cấp thông tin chuyên sâu ngay lập tức dựa trên những gì Copilot nhìn thấy.  Khi bạn kích hoạt Copilot Vision, Copilot có thể xem màn hình hoặc nguồn cấp dữ liệu máy ảnh di động của bạn và sử dụng Giọng nói Copilot để trả lời câu hỏi và tương tác với bạn. 

Lưu ý

Copilot Vision không ghi lại, lưu trữ hoặc sử dụng bất kỳ dữ liệu nào để đào tạo các mô hình của chúng tôi.  Không có hình ảnh nào được lưu giữ, chuyển ngữ hoặc ghi nhật ký.  Sau khi phiên Copilot Vision kết thúc, tất cả hình ảnh, âm thanh và ngữ cảnh sẽ bị xóa.  Các phản hồi theo mô hình đang được lưu trữ để cho phép giám sát các tương tác không an toàn.  Bản chép lại cuộc trò chuyện của bạn với Vision được lưu trữ trong lịch sử hội thoại của bạn, nhưng không được sử dụng để đào tạo hoặc cá nhân hóa.  Bạn có thể xóa lịch sử trò chuyện của mình bất cứ lúc nào.

Copilot Vision khả dụng ở tất cả các khu vực và ngôn ngữ được hỗ trợ và có thể truy cập từ Windows, Edge cũng như ứng dụng Copilot dành cho thiết bị di động (iOS và Android).  Bạn phải đăng nhập vào Copilot để truy cập Vision.

Người đăng ký Microsoft 365 Personal, Gia đình và Premium nhận giới hạn sử dụng mở rộng Vision.   

Cách Copilot Vision xử lý dữ liệu của bạn

Copilot Vision chỉ hoạt động khi bạn bắt đầu một phiên Tìm kiếm trực quan. Tính năng này xử lý dữ liệu của bạn theo Điều khoản về Quyền riêng tư của Microsoft.   

Khi sử dụng Vision, chỉ có các phản hồi của Copilot được ghi nhật ký để cho phép giám sát các tương tác và đầu ra không an toàn. Đầu vào người dùng, hình ảnh và nội dung trang không được ghi nhật ký hoặc lưu trữ.  Sau khi phiên Thoại kết thúc, dữ liệu này sẽ bị xóa.   

Tầm nhìn không tham gia trực tiếp với PC, web hoặc điện thoại của bạn thay mặt bạn—có sẵn để trả lời câu hỏi thay vì thực hiện hành động. Copilot Vision có thể tô sáng các phần của màn hình để giúp bạn tìm thấy thông tin liên quan. Thao tác này sẽ không bấm, nhập văn bản hoặc cuộn thay mặt bạn. 

Lần đầu tiên bạn sử dụng Vision trong Windows, MacOS, Edge và Copilot Mobile, Copilot sẽ yêu cầu bạn xác nhận thông báo về quyền riêng tư.   

Vision không khả dụng cho người dùng thương mại đã đăng nhập vào Copilot hoặc Edge bằng tài Entra ID mới. 

Sử dụng Copilot Vision trên Windows

Copilot Vision cho phép bạn chia sẻ các cửa sổ hoặc ứng dụng trình duyệt đã chọn với Copilot trong một phiên hoạt động. Copilot có thể trả lời các câu hỏi về nội dung bạn chọn chia sẻ và cung cấp hướng dẫn từng bước.

Trong khi phiên Tìm kiếm trực quan đang hoạt động, Copilot có thể trả lời các câu hỏi về cửa sổ ứng dụng hoặc trình duyệt mà bạn đã chia sẻ trong phiên hoạt động, ngay cả khi chúng không còn mở trước mặt bạn nữa. Khi phiên Vision kết thúc, Copilot ngay lập tức ngừng quan sát và tất cả các ngữ cảnh được chia sẻ sẽ bị xóa.

Copilot Vision hoạt động với bất kỳ ứng dụng nào trên Windows. Tuy nhiên, nếu nội dung có chứa tài liệu có hại hoặc được bảo vệ bằng DRM, Copilot sẽ không thể phân tích nội dung đó. 

Dưới đây là cách sử dụng tính năng này:

  • Bắt đầu một phiên Copilot Vision trong ứng dụng Copilot bằng cách bấm vào biểu tượng kính Một cặp biểu tượng kính đen trong trình soạn thảo.

  • Chọn màn hình hoặc ứng dụng bạn muốn chia sẻ với Copilot. Trong khi Copilot Vision đang hoạt động, bạn sẽ thấy viền ngoài màu cam rực rỡ xung quanh màn hình hoặc ứng dụng dùng chung.
     

    Lưu ý

    Bạn chỉ có thể chọn hai ứng dụng mỗi lần.

  • Tầm nhìn khởi chạy với bắt đầu với văn bản được bật theo mặc định. Trạng thái nhìn và điều khiển xuất hiện bên trong pa nen Copilot được gắn cạnh. Bạn có thể trò chuyện bằng văn bản với Copilot và đặt câu hỏi về những gì bạn nhìn thấy trong ứng dụng được chia sẻ.

  • Nếu bạn thay đổi nút bật tắt thành Bắt đầu bằng giọng nói, thanh công cụ trôi nổi sẽ hiển thị điều khiển Bằng mắt và Giọng nói. Bạn sẽ nghe thấy Copilot phát lời chào bằng âm thanh. Sau đó, bạn có thể trò chuyện bằng giọng nói với Copilot và đặt câu hỏi về những gì bạn nhìn thấy trong ứng dụng được chia sẻ.

  • Bạn có thể tự tắt tiếng bằng cách bấm vào biểu tượng micrô, thao tác này sẽ tắt micrô và ngừng cho Phép Nhân viên hỗ trợ nghe. Bấm lại vào biểu tượng micrô để tiếp tục.

  • Nếu bạn yêu cầu Copilot Vision trợ giúp về cách sử dụng một ứng dụng cụ thể, ứng dụng đó có thể hiển thị con trỏ tô sáng Con trỏ trên màn hình để trỏ nội dung nào đó. Tầm nhìn sẽ không thực hiện hành động trên PC cho bạn, nhưng có thể giải thích và hiển thị những việc bạn nên làm tiếp theo.

  • Sau khi bạn đã sẵn sàng kết thúc phiên Copilot Vision, hãy bấm vào Dừng trong thanh công cụ trôi nổi. Khi phiên kết thúc, Copilot ngay lập tức ngừng quan sát.

Sử dụng Copilot Vision trong Edge

Copilot Vision hoạt động với hầu hết các trang web và trang, ngoại trừ các trang có chứa nội dung có hại hoặc nội dung người lớn.  Khi bạn truy cập một trang web mà Copilot Vision không hỗ trợ, Bộ soạn thảo Copilot ở cuối màn hình sẽ hiển thị biểu tượng màu xám và kính mắt chéo và mô hình sẽ từ chối thảo luận về nội dung của trang. 

Dưới đây là cách sử dụng tính năng này:

  1. Đăng nhập vào Edge bằng tài khoản Microsoft cá nhân của bạn.

  2. Bấm vào biểu tượng Copilot trong thanh công cụ Edge.

  3. Sau đó bấm vào nút Sóng giọng nói (sóng).

  4. Khi Copilot Vision đang hoạt động, ngăn bên Copilot sẽ xuất hiện với biểu tượng kính một cặp biểu tượng kính đen và biểu tượng micrô biểu tượng micrô Teams.

  5. Dẫn hướng đến bất kỳ trang web, video hoặc PDF nào được hỗ trợ mà bạn muốn hỏi Về Copilot.

    Lưu ý

    Trong khi phiên Tìm kiếm trực quan đang diễn ra, bạn sẽ thấy thanh công cụ với biểu tượng kính một cặp biểu tượng kính đen mở trong ngăn bên Copilot cho biết bạn đang ở phiên Kết nối trực quan đang hoạt động. Copilot Vision sẽ vẫn hoạt động trong khi bạn duyệt các trang khác nhau cho đến khi bạn kết thúc phiên Vision. 

  6. Copilot Vision sẽ xem trang và sau đó cho phép bạn có một cuộc trò chuyện tự nhiên với Copilot về nội dung.

  7. Bạn có thể dừng phiên bằng cách bấm vào X trong thanh công cụ ở cuối cửa sổ Copilot, đóng toàn bộ ngăn bên Copilot hoặc thoát Edge.

Sử dụng Copilot Vision trên Thiết bị di động

Bạn có thể truy cập Copilot Vision trong ứng dụng Copilot dành cho thiết bị di động trên cả thiết bị chạy iOS và Android.   

Copilot Vision trả lời các câu hỏi dựa trên những gì nó nhìn thấy thông qua máy ảnh trên thiết bị di động của bạn.

Dưới đây là cách sử dụng tính năng này:

  • Trong ứng dụng Copilot dành cho thiết bị di động, nhấn vào biểu tượng kính một cặp kính màu đen để bắt đầu phiên Copilot Vision.  Thao tác này sẽ khởi tạo camera trên thiết bị di động của bạn.

    Lưu ý: Trước tiên, bạn cần cấp cho ứng dụng Copilot quyền truy cập vào camera thiết bị của bạn để sử dụng tính năng này.

  • Trò chuyện với Copilot và đặt câu hỏi về những gì bạn nhìn thấy thông qua camera hoặc trên màn hình của bạn. Copilot Vision sẽ được duy trì cho đến khi bạn kết thúc phiên Vision.

  • Để kết thúc phiên Copilot Vision, nhấn vào biểu tượng X .