Microsoft CopilotVision 是一種全新方式,讓你在使用 Windows PC 或 Mac 時,讓 AI 與你一同工作,無論是在 Microsoft Edge 上網,或是從手機上瀏覽世界。  它就像第二雙眼睛,能即時掃描、分析,並根據 Copilot 所見提供見解。  啟用 Copilot Vision 後,Copilot 可以查看你的螢幕或行動攝影機畫面,並使用 Copilot Voice 回答問題與互動。 

附註: Copilot Vision 不會擷取、儲存或使用任何數據來訓練我們的模型。  不會保留、轉錄或記錄任何影像。  一旦 Copilot Vision 會議結束,所有圖片、音訊和上下文都會被刪除。  模型回應被儲存以監控不安全互動。  你與 Vision 的對話文字記錄會儲存在你的對話紀錄中,但不會用於訓練或個人化。  您可以隨時刪除聊天紀錄。

Copilot Vision 支援所有 支援的地區與語言,並可透過 Windows、Edge 及 Copilot 行動應用程式 (iOS 和 Android) 存取。  您必須登入 Copilot 才能存取 Vision。

Microsoft 365 個人版、家庭版及高級版的訂閱者可享有 Vision 的延長使用限制。   

Copilot Vision 如何處理你的資料 

Copilot 只有在你啟動視覺療程時,幻視才會啟動。 它依據 Microsoft 的隱私權聲明處理您的資料。   

使用 Vision 時,僅記錄 Copilot的回應,以便監控不安全的互動與輸出。 使用者輸入、圖片和頁面內容不會被記錄或儲存。  語音會話結束後,這些資料會被刪除。   

Vision 不會直接代表你與你的電腦、網頁或手機互動——它存在的目的是回答問題,而非採取行動。 Copilot 視覺可能會標示螢幕的部分區域,幫助你找到相關資訊。 它不會自動點擊、輸入文字或替你滾動。 

當您首次在 Windows、MacOS、Edge 和 Copilot Mobile 中使用 Vision 時, Copilot 會要求您確認隱私聲明。   

Vision 不對使用Entra ID帳號登入 Copilot 或Edge的商業用戶開放。 

在 Windows 上使用 Copilot Vision 

Copilot Vision 允許你在活躍會話中與 Copilot 分享指定的瀏覽器視窗或應用程式。 Copilot 可以回答你選擇分享的內容,並提供逐步指導。

當 Vision 會話處於啟動狀態時,Copilot 可以回答你在活動中分享的應用程式或瀏覽器視窗的問題,即使它們已不再在你面前開啟。 當 Vision 會話結束時,Copilot 立即停止觀察,所有共享上下文也被清除。

Copilot Vision 可以搭配 Windows 上的任何應用程式使用。 然而,若內容包含有害或受DRM保護的內容, Copilot 將無法進行分析。 

以下是執行的方式: 

  • 在 Copilot 應用程式中點擊作曲器 一副黑色眼鏡的圖示的眼鏡圖示,即可啟動 Copilot 視覺療程。

  • 選擇你想與 Copilot 共享的螢幕或應用程式。 當 Copilot Vision 啟動時,你會看到共享螢幕或應用程式周圍有發光的橘色輪廓。註: 你一次只能選擇兩個應用程式。

  • Vision 啟動時預設是開啟 文字。 視覺狀態和控制顯示在對接的副駕駛面板內。 你可以用文字對話和 Copilot 詢問你在共享應用程式中看到的內容。

  • 如果你把切換改成 「開始語音」,會有一個浮動工具列顯示視覺和語音控制。 你會聽到 Copilot 播放語音問候。 接著你可以用語音通話跟 Copilot 對話,問你在共享應用程式中看到的內容。

  • 你可以點擊麥克風圖示來靜音,這樣麥克風會被關閉,讓副駕駛無法收聽。 再次點擊麥克風圖示即可繼續。

  • 如果你向 Copilot Vision 詢問如何使用特定應用程式,它可能會在螢幕上顯示一個高亮游標 游標,指出某個細節。 Vision 不會幫你在電腦上執行動作,但它可以解釋並顯示你接下來該做什麼。

  • 當你準備好結束 Copilot Vision 會話時,點擊浮動工具列中的 「停止 」。 會議結束後,副駕駛立刻停止觀察。

在 Edge 中使用Copilot 視覺 

Copilot Vision 適用於大多數網站,除了包含有害或成人內容的網站。  當你造訪 Copilot Vision 不支援的網站時,螢幕下方的 Copilot Composer 會顯示一個灰色的圖示和交叉的眼鏡,模型也會拒絕討論該頁面的內容。 

以下是執行的方式: 

  • 使用您的個人 Microsoft 帳號登入 Edge。 如果你還沒做過,請學習如何在 Microsoft Edge 中登入並建立多個設定檔。

  • 在 Edge 中導覽到你想詢問的網站、影片或 PDF 文件。

  • 按下 Edge 右上角的 Copilot 圖示 螢幕擷取畫面顯示 Copilot 圖示的影像。,即可在 Edge 側邊欄開啟 Copilot 。

  • 按下語音按鈕 Teams 麥克風圖示 提問。註: 在視覺課程進行中,您會看到一個浮動的工具列,並 一副黑色眼鏡的圖示眼鏡圖示,表示您正處於活躍的視覺課程中。 Copilot 視覺會持續開啟,直到你結束視覺會話。

  • Copilot Vision 會查看頁面,然後讓你和 Copilot 自然地討論內容。

  • 你可以關閉浮動 Copilot 工具列或關閉 Edge 視窗來結束 Vision 會話。

在行動裝置上使用 Copilot Vision 

你可以在 iOS 和 Android 裝置上的 Copilot 行動應用程式中使用 Copilot Vision。   

Copilot 視覺會根據透過行動裝置攝影機看到的內容來回答問題。

以下是執行的方式: 

  • 在 Copilot 行動應用程式中,點擊眼鏡圖示 一副黑色眼鏡的圖示 即可開始 Copilot 視覺療程。  這會啟動你的行動裝置攝影機。註:你首先需要授權 Copilot 應用程式存取你的裝置相機才能使用此功能。

  • 和 Copilot 聊聊,並詢問你透過攝影機或螢幕看到的情況。 Copilot 視覺會持續開啟,直到你結束視覺課程。

  • 要結束 Copilot 視覺會話,請點擊 X 圖示。

Need more help?

Want more options?

探索訂閱權益、瀏覽訓練課程、瞭解如何保護您的裝置等等。