使用 Copilot Vision 搭配 Microsoft Copilot
Microsoft CopilotVision 是一種全新方式,讓你在使用 Windows PC 或 Mac 時,讓 AI 與你一同工作,無論是在 Microsoft Edge 上網,或是從手機上瀏覽世界。 它就像第二雙眼睛,能即時掃描、分析,並根據 Copilot 所見提供見解。 啟用 Copilot Vision 後,Copilot 可以查看你的螢幕或行動攝影機畫面,並使用 Copilot Voice 回答問題與互動。
附註: Copilot Vision 不會擷取、儲存或使用任何數據來訓練我們的模型。 不會保留、轉錄或記錄任何影像。 一旦 Copilot Vision 會議結束,所有圖片、音訊和上下文都會被刪除。 模型回應被儲存以監控不安全互動。 你與 Vision 的對話文字記錄會儲存在你的對話紀錄中,但不會用於訓練或個人化。 您可以隨時刪除聊天紀錄。
Copilot Vision 支援所有 支援的地區與語言,並可透過 Windows、Edge 及 Copilot 行動應用程式 (iOS 和 Android) 存取。 您必須登入 Copilot 才能存取 Vision。
Microsoft 365 個人版、家庭版及高級版的訂閱者可享有 Vision 的延長使用限制。
Copilot Vision 如何處理你的資料
Copilot 只有在你啟動視覺療程時,幻視才會啟動。 它依據 Microsoft 的隱私權聲明處理您的資料。
使用 Vision 時,僅記錄 Copilot的回應,以便監控不安全的互動與輸出。 使用者輸入、圖片和頁面內容不會被記錄或儲存。 語音會話結束後,這些資料會被刪除。
Vision 不會直接代表你與你的電腦、網頁或手機互動——它存在的目的是回答問題,而非採取行動。 Copilot 視覺可能會標示螢幕的部分區域,幫助你找到相關資訊。 它不會自動點擊、輸入文字或替你滾動。
當您首次在 Windows、MacOS、Edge 和 Copilot Mobile 中使用 Vision 時, Copilot 會要求您確認隱私聲明。
Vision 不對使用Entra ID帳號登入 Copilot 或Edge的商業用戶開放。
在 Windows 上使用 Copilot Vision
Copilot Vision 允許你在活躍會話中與 Copilot 分享指定的瀏覽器視窗或應用程式。 Copilot 可以回答你選擇分享的內容,並提供逐步指導。
當 Vision 會話處於啟動狀態時,Copilot 可以回答你在活動中分享的應用程式或瀏覽器視窗的問題,即使它們已不再在你面前開啟。 當 Vision 會話結束時,Copilot 立即停止觀察,所有共享上下文也被清除。
Copilot Vision 可以搭配 Windows 上的任何應用程式使用。 然而,若內容包含有害或受DRM保護的內容, Copilot 將無法進行分析。
以下是執行的方式:
-
在 Copilot 應用程式中點擊作曲器
的眼鏡圖示,即可啟動 Copilot 視覺療程。 -
選擇你想與 Copilot 共享的螢幕或應用程式。 當 Copilot Vision 啟動時,你會看到共享螢幕或應用程式周圍有發光的橘色輪廓。註: 你一次只能選擇兩個應用程式。
-
Vision 啟動時預設是開啟 文字。 視覺狀態和控制顯示在對接的副駕駛面板內。 你可以用文字對話和 Copilot 詢問你在共享應用程式中看到的內容。
-
如果你把切換改成 「開始語音」,會有一個浮動工具列顯示視覺和語音控制。 你會聽到 Copilot 播放語音問候。 接著你可以用語音通話跟 Copilot 對話,問你在共享應用程式中看到的內容。
-
你可以點擊麥克風圖示來靜音,這樣麥克風會被關閉,讓副駕駛無法收聽。 再次點擊麥克風圖示即可繼續。
-
如果你向 Copilot Vision 詢問如何使用特定應用程式,它可能會在螢幕上顯示一個高亮游標
,指出某個細節。 Vision 不會幫你在電腦上執行動作,但它可以解釋並顯示你接下來該做什麼。 -
當你準備好結束 Copilot Vision 會話時,點擊浮動工具列中的 「停止 」。 會議結束後,副駕駛立刻停止觀察。
在 Edge 中使用Copilot 視覺
Copilot Vision 適用於大多數網站,除了包含有害或成人內容的網站。 當你造訪 Copilot Vision 不支援的網站時,螢幕下方的 Copilot Composer 會顯示一個灰色的圖示和交叉的眼鏡,模型也會拒絕討論該頁面的內容。
以下是執行的方式:
-
使用您的個人 Microsoft 帳號登入 Edge。 如果你還沒做過,請學習如何在 Microsoft Edge 中登入並建立多個設定檔。
-
在 Edge 中導覽到你想詢問的網站、影片或 PDF 文件。
-
按下 Edge 右上角的 Copilot 圖示
,即可在 Edge 側邊欄開啟 Copilot 。 -
按下語音按鈕
提問。註: 在視覺課程進行中,您會看到一個浮動的工具列,並 眼鏡圖示,表示您正處於活躍的視覺課程中。 Copilot 視覺會持續開啟,直到你結束視覺會話。 -
Copilot Vision 會查看頁面,然後讓你和 Copilot 自然地討論內容。
-
你可以關閉浮動 Copilot 工具列或關閉 Edge 視窗來結束 Vision 會話。
在行動裝置上使用 Copilot Vision
你可以在 iOS 和 Android 裝置上的 Copilot 行動應用程式中使用 Copilot Vision。
Copilot 視覺會根據透過行動裝置攝影機看到的內容來回答問題。
以下是執行的方式:
-
在 Copilot 行動應用程式中,點擊眼鏡圖示
即可開始 Copilot 視覺療程。 這會啟動你的行動裝置攝影機。註:你首先需要授權 Copilot 應用程式存取你的裝置相機才能使用此功能。 -
和 Copilot 聊聊,並詢問你透過攝影機或螢幕看到的情況。 Copilot 視覺會持續開啟,直到你結束視覺課程。
-
要結束 Copilot 視覺會話,請點擊 X 圖示。