使用 Copilot 視覺 搭配 Microsoft Copilot

Microsoft Copilot 視覺 是一種全新方式,讓你在使用 Windows PC 或 Mac 時,讓 AI 與你合作,無論是在 Microsoft Edge 上網,或是從手機上瀏覽世界。  它就像第二雙眼睛,能即時掃描、分析,並根據 Copilot 所見提供見解。  啟用 Copilot 視覺 後,Copilot 可以查看您的螢幕或行動攝影機畫面,並使用 Copilot 語音 回答問題與互動。 

注意

Copilot 視覺 不會擷取、儲存或使用任何數據來訓練我們的模型。  不會保留、轉錄或記錄任何影像。  一旦 Copilot 視覺 會議結束,所有圖片、音訊和上下文都會被刪除。  模型回應被儲存以監控不安全互動。  你與 Vision 的對話文字記錄會儲存在你的對話紀錄中,但不會用於訓練或個人化。  您可以隨時刪除聊天紀錄。

Copilot 視覺 支援所有 支援的地區與語言 ,並可透過 Windows、Edge 及 Copilot 行動應用程式 (iOS 和 Android) 存取。  你必須登入 Copilot 才能存取 Vision。

Microsoft 365 個人版、家庭版及高級版的訂閱者可享有 Vision 的延長使用限制。   

Copilot 視覺 如何處理您的資料

副駕駛視覺只有在你啟動視覺會議時才會啟動。 它依據 Microsoft 的隱私權聲明處理您的資料。   

使用 Vision 時,僅記錄 Copilot 的回應,以便監控不安全的互動與輸出。 使用者輸入、圖片和頁面內容不會被記錄或儲存。  語音會話結束後,這些資料會被刪除。   

Vision 不會直接代表你與你的電腦、網頁或手機互動——它存在的目的是回答問題,而非採取行動。 Copilot 視覺 可能會標示螢幕部分區域,幫助你找到相關資訊。 它不會自動點擊、輸入文字或替你滾動。 

當您首次在 Windows、MacOS、Edge 和 Copilot Mobile 中使用 Vision 時,Copilot 會要求您確認隱私聲明。   

商業用戶若使用 Entra ID 帳號登入 Copilot 或 Edge,則無法使用 Vision。 

在 Windows 上使用 Copilot 視覺

Copilot 視覺 允許你在活躍會話中與 Copilot 分享指定的瀏覽器視窗或應用程式。 Copilot 可以回答你選擇分享的內容,並提供逐步指導。

當 Vision 會話處於啟動狀態時,Copilot 可以回答你在活動中分享的應用程式或瀏覽器視窗的問題,即使它們已不再在你面前開啟。 當 Vision 會話結束時,Copilot 立即停止觀察,所有共享上下文也被清除。

Copilot 視覺 可以搭配任何 Windows 上的應用程式使用。 然而,若內容包含有害或受 DRM 保護的內容,Copilot 將無法進行分析。 

以下是執行的方式:

  • 在 Copilot 應用程式中點擊眼鏡圖示,啟動 Copilot 視覺 會議,作曲家中 有一副黑色眼鏡圖示

  • 選擇你想與 Copilot 共享的螢幕或應用程式。 當 Copilot 視覺 啟動時,你會看到共享螢幕或應用程式周圍有發光的橘色輪廓。
     

    注意

    你一次只能選擇兩個應用程式。

  • Vision 啟動時預設是開啟 文字 。 視覺狀態和控制顯示在對接的副駕駛面板內。 你可以用文字對話和 Copilot 詢問你在共享應用程式中看到的內容。

  • 如果你把切換改成 「開始語音」,會有一個浮動工具列顯示視覺和語音控制。 你會聽到 Copilot 播放語音問候。 接著你可以用語音通話跟 Copilot 對話,問你在共享應用程式中看到的內容。

  • 你可以點擊麥克風圖示來靜音,這樣麥克風會被關閉,讓副駕駛無法收聽。 再次點擊麥克風圖示即可繼續。

  • 如果你向 Copilot 視覺 詢問如何使用特定應用程式,它可能會在螢幕上顯示一個高亮游 標 ,指示某個問題。Vision 不會幫你在電腦上執行動作,但它可以解釋並顯示你接下來該做什麼。

  • 當你準備好結束 Copilot 視覺 會話時,點擊浮動工具列中的 「停止 」。 會議結束後,副駕駛立刻停止觀察。

在 Edge 中使用 Copilot 視覺

Copilot 視覺 支援大多數網站和頁面,但包含有害或成人內容的除外。  當你造訪 Copilot 視覺 不支援的網站時,螢幕下方的 Copilot Composer 會顯示一個灰色圖示和交叉眼鏡,模型也會拒絕討論頁面內容。 

以下是執行的方式:

  1. 用你的個人 Microsoft 帳號登入 Edge。

  2. 點擊 Edge 工具列中的 Copilot 圖示。

  3. 然後點擊 Voice (waves) button Waves 按鈕

  4. 當 Copilot 視覺 啟動時,副駕駛側邊畫面會出現一個眼鏡圖示,一 副黑色眼鏡圖示 和一個麥克風圖示,Teams 麥克風圖示

  5. 請瀏覽任何支援的網站、影片或 PDF,並詢問 Copilot。

    注意

    在視覺會議進行中,你會看到一個帶有眼鏡圖示的工具列。副駕駛側窗開啟一 副黑色眼鏡圖示 ,表示你正在進行視覺會議。 副駕駛視覺會在你瀏覽不同頁面時保持開啟,直到結束視覺會議。 

  6. Copilot 視覺 會查看頁面,然後讓你自然地與 Copilot 討論內容。

  7. 你可以透過點擊 Copilot 視窗底部工具列中的 X 鍵、關閉整個 Copilot 側邊窗格,或退出 Edge 來停止會話。

在行動裝置上使用 Copilot 視覺

您可以在 iOS 和 Android 裝置上的 Copilot 行動應用程式中使用 Copilot 視覺。   

Copilot 視覺 會根據你手機攝影機所看到的畫面來回答問題。

以下是執行的方式:

  • 在 Copilot 行動應用程式中,點擊 眼鏡圖示 即可開始 Copilot 視覺 課程。  這會啟動你的行動裝置攝影機。

    註: 你首先需要授權 Copilot 應用程式存取你的裝置相機才能使用此功能。

  • 跟 Copilot 談談,詢問你透過攝影機或螢幕看到的情況。 副駕駛視覺會一直開啟,直到你結束視覺會議。

  • 要結束 Copilot 視覺 會話,請點擊 X 圖示。