搭配使用 Copilot 視覺 與 Microsoft Copilot

Microsoft Copilot 視覺 是一種讓您在使用 Windows 電腦或 Mac、在 Microsoft Edge 中瀏覽網頁,或從手機查看世界時讓 AI 與您一起工作的新方式。 它就像第二組眼睛,可以掃描、分析,並根據 Copilot 看到的內容提供深入解析。 當您開始 Copilot 視覺 工作階段時,Copilot 可以檢視您選擇要共用的螢幕、應用程式、頁面或行動相機摘要,然後使用 Copilot 語音 來回答問題並引導您完成您所看到的內容。

注意

Copilot 視覺 不會使用來自視覺工作階段的資料來訓練我們的模型。 工作階段資料可能會暫時保留最多 47 小時,以支援使用者提交的意見反應,如果之後沒有提交意見反應,工作階段資料就會自動刪除。 您與 Vision 的對話文字記錄會儲存在您的聊天記錄中,以便稍後再次瀏覽。 您的對話記錄不會用於訓練或個人化,您可以隨時將其刪除。

在推出期間,Copilot 視覺 可用性可能會有所不同。 視覺在所有 支援的地區和語言 中都可用,並且可以從 Windows、Edge 以及 iOS 和 Android 上的 Copilot 行動裝置應用程式存取。 您必須訂閱 Microsoft 365 個人版、家庭版或進階版,才能存取 Copilot 視覺。

Copilot 視覺 處理資料的方式

只有在您開始視覺工作階段時,Copilot 視覺 才會啟用。 它會根據 Microsoft 的隱私權聲明處理您的資料。

當您使用 [視覺] 時,系統可能會記錄 Copilot 回應,以協助監視不安全的互動和輸出。 使用者輸入、影像、音訊和共用頁面內容不會用來訓練模型或個人化您的體驗。 工作階段資料可能會暫時保留最多 47 小時,以支援使用者提交的意見反應,如果之後沒有提交意見反應,工作階段資料就會自動刪除。

Vision 不會代表您直接與您的電腦、網路或手機互動。 它是為了回答問題並指導您,而不是為您採取行動。 Copilot 視覺 可能會醒目提示畫面的部分,以協助您尋找相關資訊,但它不會代表您按一下、輸入文字或捲動。

第一次在 Windows、macOS、Edge 或 Copilot 行動裝置版中使用視覺時,Copilot 會要求您確認隱私權注意事項。

Vision 可供在 Copilot Web 和行動應用程式中使用 Entra ID 登入的商業使用者使用。

在 Windows 上使用 Copilot 視覺

Copilot 視覺 可讓您在作用中工作階段期間與 Copilot 共用選取的瀏覽器視窗或應用程式。 Copilot 可以回答您選擇分享內容的問題,並提供逐步指導方針。

當視覺工作階段處於作用中狀態時,Copilot 可以回答您已共用之應用程式或瀏覽器視窗的相關問題,即使它們不再在您面前開啟。 當視覺工作階段結束時,Copilot 會立即停止觀察您共用的內容,且共用內容也不再供使用中的視覺工作階段使用。

Copilot 視覺 可與 Windows 上的任何應用程式搭配使用。 不過,如果內容包含有害或受 DRM 保護的內容,Copilot 就無法對其進行分析。

若要在 Windows 上使用 Copilot 視覺:

  1. 在 Copilot 中開始語音通話。 視力預設為關閉。
  2. 若要將 Vision 新增到 Voice 工作階段,請選取 [共用畫面]。
  3. 選取您要與 Copilot 共用的畫面或應用程式。 當 Copilot 視覺 處於使用中狀態時,您會看到共用畫面或應用程式周圍的外框。 您一次最多可以共用兩個應用程式。
  4. 請確定您的麥克風和音訊已啟用。 Copilot 視覺 使用語音輸入和輸出來回答您分享內容的相關問題。
  5. 浮動工具列隨即出現,其中包含視覺和語音控制項。 Copilot 會向您打招呼,您可以開始詢問共用內容的相關問題。
  6. 若要將自己靜音,請選取麥克風圖示 麥克風 圖示 。 這會導致 Copilot 無法聆聽。 再次選取麥克風圖示以繼續。
  7. 若要結束視覺工作階段,請選取浮動工具列中的「停止」。 工作階段結束時,Copilot 會立即停止觀察共用內容。

在 Edge 中使用 Copilot 視覺

Copilot 視覺 適用於大部分的網站和頁面,包含有害或成人內容的網站和頁面除外。 當您瀏覽 Copilot 視覺 不支援的網站時,畫面底部的 Copilot 撰寫器會顯示為灰色圖示,且 Copilot 不會討論頁面內容。

若要在 Edge 中使用 Copilot 視覺:

  1. 使用您的個人 Microsoft 帳戶登入 Edge。
  2. 選取 Edge 工具列中的 Copilot 圖示。
  3. 選取 [語音 (波) 按鈕 [波浪] 按鈕
  4. 使用 Copilot 開始語音工作階段。
  5. 選取 [共用畫面] 以將視覺新增至語音工作階段。
  6. 移至您想要詢問 Copilot 的任何受支援網站、影片或 PDF。 當您使用 [視覺] 時,[Copilot] 側邊窗格中的工具列可讓您知道您的視覺工作階段正在使用中。 當您從一頁瀏覽到另一頁時,視覺會一直伴隨著您,直到您準備好結束會話。
  7. 詢問 Copilot 關於您正在檢視的頁面或內容的問題。
  8. 若要停止工作階段,請在 Copilot 視窗底部的工具列中選取 X 、關閉 Copilot 側邊窗格,或結束 Edge。

在行動裝置上使用 Copilot 視覺

注意

Mobile Vision 功能即將推出。 iOS 和 Android 裝置上正在逐步啟用行動視覺和螢幕共用,因此在推出期間可用性可能會因使用者而異。

您可以在 iOS 和 Android 裝置上的 Copilot 行動裝置應用程式中存取 Copilot 視覺。 Copilot 視覺 會根據透過行動裝置、相機或螢幕看到的內容來回答問題。

若要在行動裝置上使用 Copilot 視覺:

  1. 在 Copilot 行動裝置應用程式中,與 Copilot 開始語音工作階段,然後選取 [ 共用螢幕]。 這會啟動您的行動裝置相機。
    • 您必須授與 Copilot 應用程式存取裝置相機的權限,以使用此功能。
  2. 與 Copilot 交談,並詢問有關您透過相機或螢幕上看到的內容的問題。 Copilot 視覺 會保持開啟狀態,直到您結束 [願景] 工作階段為止。
  3. 若要結束 Copilot 視覺 工作階段,請選取 X