将 Copilot 视觉 与 Microsoft Copilot 配合使用

Microsoft Copilot 视觉 是一种使用 Windows 电脑或 Mac、在 Microsoft Edge 中导航 Web 或从手机查看世界时使用 AI 的新方法。  这就像第二组眼睛,可以立即扫描、分析和根据 Copilot 看到的内容提供见解。  激活 Copilot 视觉 后,Copilot 可以查看屏幕或移动相机源,并使用 Copilot 语音 回答问题并与你交互。 

注意

Copilot 视觉 不会捕获、存储或使用任何数据来训练模型。  不会保留、转录或记录任何图像。  Copilot 视觉 会话结束后,将删除所有图像、音频和上下文。  正在存储模型响应,以便能够监视不安全的交互。  与 Vision 对话的脚本存储在对话历史记录中,但不用于训练或个性化。  可以随时删除聊天历史记录。

Copilot 视觉 在所有 受支持的区域和语言 中可用,可从 Windows、Edge 和 Copilot 移动应用 (iOS 和 Android) 进行访问。  必须登录到 Copilot 才能访问 Vision。

Microsoft 365 个人版、家庭和高级版的订阅者可获得 Vision 的扩展使用限制。   

Copilot 视觉 如何处理数据

仅当你启动视觉会话时,Copilot 视觉 才处于活动状态。 它根据 Microsoft隐私声明处理你的数据。   

使用 Vision 时,仅记录 Copilot 的响应,以便能够监视不安全的交互和输出。 不会记录或存储用户输入、图像和页面内容。  语音会话结束后,将删除此数据。   

Vision 不会代表你直接与你的电脑、Web 或你的手机互动,而是用来回答问题,而不是采取行动。 Copilot 视觉 可能会突出显示屏幕的某些部分,以帮助你查找相关信息。 它不会代表你单击、输入文本或滚动。 

首次在 Windows、MacOS、Edge 和 Copilot Mobile 中使用 Vision 时,Copilot 会要求你确认隐私声明。   

使用 Entra ID 帐户登录到 Copilot 或 Edge 的商业用户无法使用视觉。 

在 Windows 上使用 Copilot 视觉

Copilot 视觉 允许你在活动会话期间与 Copilot 共享选定的浏览器窗口或应用。 Copilot 可以回答有关你选择共享的内容的问题,并提供分步指南。

当视觉会话处于活动状态时,Copilot 可以回答有关在活动会话期间共享的应用或浏览器窗口的问题,即使它们不再在你面前打开也是如此。 视觉会话结束时,Copilot 会立即停止观察,并清除所有共享上下文。

Copilot 视觉 适用于 Windows 上的任何应用。 但是,如果内容包含有害或受 DRM 保护的材料,Copilot 将无法对其进行分析。 

使用方法如下:

  • 在 Copilot 应用中单击“眼镜”图标“”一 副黑眼镜“图标 ,在 Copilot 应用中启动 Copilot 视觉会话。

  • 选择要与 Copilot 共享的屏幕或应用。 当 Copilot 视觉 处于活动状态时,你将在共享屏幕或应用周围看到发光的橙色轮廓。
     

    注意

    一次只能选择两个应用。

  • 默认情况下启用 文本的“开始” 启动视觉。 视觉状态和控件显示在停靠的 Copilot 面板中。 你可以与 Copilot 进行文本对话,并询问有关你在共享应用中看到的内容的问题。

  • 如果将切换开关更改为 “从语音开始”,则浮动工具栏将显示“视觉”和“语音”控件。 你将听到 Copilot 播放音频问候语。 然后,你可以与 Copilot 进行语音对话,并询问你在共享应用中看到的内容的问题。

  • 可以通过单击麦克风图标将自己静音,这会禁用麦克风并阻止 Copilot 收听。 再次单击麦克风图标以继续。

  • 如果请求 Copilot 视觉 获取有关如何使用特定应用的帮助,它可能会在屏幕上显示突出显示光标 光标 以指出某些内容。Vision 不会为你在电脑上执行操作,但它可以解释并显示你接下来应该执行的操作。

  • 准备好结束 Copilot 视觉 会话后,单击浮动工具栏中的“ 停止 ”。 会话结束时,Copilot 会立即停止观察。

在 Edge 中使用 Copilot 视觉

Copilot 视觉 适用于大多数网站和页面,但包含有害内容或成人内容的网站和页面除外。  当你访问 Copilot 视觉 不支持的网站时,屏幕底部的 Copilot Composer 将显示灰显图标和交叉眼镜,模型将拒绝讨论页面的内容。 

使用方法如下:

  1. 使用个人Microsoft帐户登录到 Edge。

  2. 单击 Edge 工具栏中的 Copilot 图标。

  3. 然后单击“语音 (波”) “ 波形”按钮

  4. 当 Copilot 视觉处于活动状态时,Copilot 侧窗格将显示一个眼镜图标 一对黑色眼镜图标 和一个麦克风图标 Teams 麦克风图标

  5. 导航到要询问 Copilot 的任何受支持的网站、视频或 PDF。

    注意

    视觉会话正在进行时,你将看到一个工具栏,其中包含眼镜图标 Copilot 侧窗格中打开 的一对黑眼镜图标 ,指示你正在活动的视觉会话中。 当你浏览不同页面时,Copilot 视觉 将保持打开状态,直到结束 Vision 会话。 

  6. Copilot 视觉 将查看页面,然后让你与 Copilot 就内容进行自然对话。

  7. 可以通过单击 Copilot 窗口底部工具栏中的 X、关闭整个 Copilot 侧窗格或退出 Edge 来停止会话。

在移动设备上使用 Copilot 视觉

可以在 iOS 和 Android 设备上的 Copilot 移动应用中访问 Copilot 视觉。   

Copilot 视觉 根据它通过移动设备相机看到的内容回答问题。

使用方法如下:

  • 在 Copilot 移动应用中,点击眼镜图标 一副黑色眼镜图标 ,开始 Copilot 视觉会话。  这将启动你的移动设备摄像头。

    注意: 首先需要授予 Copilot 应用访问设备相机的权限才能使用此功能。

  • 与 Copilot 交谈,并询问有关通过相机或屏幕上看到的内容的问题。 Copilot 视觉 将一直处于打开状态,直到你结束视觉会话。

  • 若要结束 Copilot 视觉 会话,请点击 X 图标。