将 Copilot Vision 与 Microsoft Copilot 配合使用
Microsoft Copilot Vision 是一种使用 Windows 电脑或 Mac、在 Microsoft Edge 中浏览 Web 或从手机查看世界时使用 AI 的新方法。 这就像第二组眼睛,可以立即扫描、分析和根据 Copilot 看到的内容提供见解。 激活 Copilot 视觉时,Copilot 可以查看屏幕或移动相机源,并使用 Copilot Voice 回答问题并与你交互。
注意: Copilot Vision 不会捕获、存储或使用任何数据来训练模型。 不会保留、转录或记录任何图像。 Copilot Vision 会话结束后,将删除所有图像、音频和上下文。 正在存储模型响应,以便能够监视不安全的交互。 与 Vision 对话的脚本存储在对话历史记录中,但不用于训练或个性化。 可以随时删除聊天历史记录。
Copilot Vision 在所有 受支持的区域和语言中可用,可从 Windows、Edge 和 Copilot 移动应用 (iOS 和 Android) 进行访问。 必须登录到 Copilot 才能访问 Vision。
Microsoft 365 个人版、家庭和高级版的订阅者可获得 Vision 的扩展使用限制。
Copilot 视觉如何处理数据
Copilot 仅当启动视觉会话时,视觉才处于活动状态。 它根据 Microsoft隐私声明处理你的数据。
使用 Vision 时,仅记录 Copilot 的响应,以便监视不安全的交互和输出。 不会记录或存储用户输入、图像和页面内容。 语音会话结束后,将删除此数据。
Vision 不会代表你直接与你的电脑、Web 或你的手机互动,而是用来回答问题,而不是采取行动。 Copilot 视觉可能会突出显示屏幕的某些部分,以帮助你查找相关信息。 它不会代表你单击、输入文本或滚动。
首次在 Windows、MacOS、Edge 和 Copilot Mobile 中使用 Vision 时, Copilot 会要求你确认隐私声明。
使用 Entra ID 帐户登录到 Copilot 或 Edge 的商业用户无法使用视觉。
在 Windows 上使用 Copilot Vision
Copilot Vision 允许你在活动会话期间与 Copilot 共享选定的浏览器窗口或应用。 Copilot 可以回答有关你选择共享的内容的问题,并提供分步指南。
当视觉会话处于活动状态时,Copilot 可以回答有关在活动会话期间共享的应用或浏览器窗口的问题,即使它们不再在你面前打开也是如此。 视觉会话结束时,Copilot 会立即停止观察,并清除所有共享上下文。
Copilot 视觉适用于 Windows 上的任何应用。 但是,如果内容包含有害或受 DRM 保护的材料, Copilot 将无法对其进行分析。
使用方法如下:
-
在 Copilot 应用中单击
眼镜图标,启动 Copilot 视觉会话。 -
选择要与 Copilot 共享的屏幕或应用。 当 Copilot Vision 处于活动状态时,你将在共享屏幕或应用周围看到发光的橙色轮廓。注意: 一次只能选择两个应用。
-
默认情况下启用 文本的“开始”启动视觉。 视觉状态和控件显示在停靠的 Copilot 面板中。 你可以与 Copilot 进行文本对话,并询问有关你在共享应用中看到的内容的问题。
-
如果将切换开关更改为 “从语音开始”,则浮动工具栏将显示“视觉”和“语音”控件。 你将听到 Copilot 播放音频问候语。 然后,你可以与 Copilot 进行语音对话,并询问你在共享应用中看到的内容的问题。
-
可以通过单击麦克风图标将自己静音,这会禁用麦克风并阻止 Copilot 收听。 再次单击麦克风图标以继续。
-
如果你向 Copilot Vision 请求有关如何使用特定应用的帮助,它可能会在屏幕上显示突出显示光标
以指出某些内容。 Vision 不会为你在电脑上执行操作,但它可以解释并显示你接下来应该执行的操作。 -
准备好结束 Copilot Vision 会话后,单击浮动工具栏中的“ 停止 ”。 会话结束时,Copilot 会立即停止观察。
在 Edge 中使用Copilot Vision
Copilot 视觉适用于大多数网站,但包含有害内容或成人内容的网站除外。 访问 Copilot Vision 不支持的网站时,屏幕底部的 Copilot Composer 将显示灰显图标和交叉眼镜,模型将拒绝讨论页面的内容。
使用方法如下:
-
使用个人Microsoft帐户登录到 Edge。 了解如何在 Microsoft Edge 中登录并创建多个配置文件(如果以前未执行此操作)。
-
在 Edge 中导航到要提问的网站、视频或 PDF 文档。
-
按 Edge 右上角的 Copilot 图标
打开边缘边栏中的 Copilot 。 -
按“语音”按钮
提问。注意: 视觉会话正在进行时,你将看到一个带有眼镜图标的浮动工具栏, 指示你处于活动视觉会话中。 Copilot 浏览不同页面时,视觉将保持打开状态,直到结束视觉会话。 -
Copilot 视觉将查看页面,然后让你与 Copilot 就内容进行自然对话。
-
可以通过关闭浮动 Copilot 工具栏或关闭 Edge 窗口来结束视觉会话。
使用 Copilot Vision on Mobile
可以在 iOS 和 Android 设备上访问 Copilot 移动应用中的 Copilot Vision。
Copilot 视觉根据它通过移动设备相机看到的内容来回答问题。
使用方法如下:
-
在 Copilot 移动应用中,点击眼镜图标
开始 Copilot 视觉会话。 这将启动你的移动设备摄像头。注意:首先需要向 Copilot 应用授予访问设备相机的权限才能使用此功能。 -
与 Copilot 交谈,并询问有关通过相机或屏幕上看到的内容的问题。 Copilot 视觉将一直保持打开状态,直到你结束视觉会话。
-
若要结束 Copilot 视觉会话,请点击 X 图标。