智能 智能 Microsoft 365 Copilot 副驾驶® 副驾驶®中的视觉允许你共享桌面屏幕或移动相机，并询问 Copilot 你看到的内容，答案基于共享内容和工作数据。 若要开始使用它，请参阅智能 智能 Microsoft 365 Copilot 副驾驶® 副驾驶®视觉入门。
视觉如何工作？
视觉将你共享的内容转换为 Copilot 可以推理的信息，然后将其与工作数据相结合，大声回答你。
- 在语音对话期间共享视觉输入：桌面屏幕 (Windows、Web) 或移动相机。
- Copilot 将共享的屏幕或相机内容转换为它可以分析的数据，包括文本、图像、图表和屏幕界面。
- Copilot 通过将看到的内容与Microsoft 365 工作数据（例如文档、电子邮件和先前讨论）相结合来证明其响应。
- Copilot 通过语音实时回答，因此你可以在同一对话中提出后续问题。
视觉可以做什么？
以下是可使用视觉执行的一些最有用的操作：
- 分析并解释你正在查看的内容。 让 Copilot 解释图表、表格、幻灯片或密集文本。 例如，“汇总此仪表板并突出显示任何异常。
- 将反馈转换为后续步骤。 共享文档、电子邮件或聊天页面，并询问“我收到了关于此内容的内容的反馈，后续步骤是什么？”
- 获取项目状态更新。 共享跟踪器或工作项，并询问“提供此项、当前所有者和下一个里程碑的快速状态。
- 获取上下文中的分步帮助。 将手机相机指向设备错误，并询问“如何实现修复此错误？
视力的局限性是什么？
- 目前只能通过与 Copilot 的语音聊天获取视觉功能。
- 每日使用基于可用容量，并计入每日语音使用量。 接近可用使用情况时，会在 Copilot 应用中收到通知。
- 视觉无法读取视频或动画 GIF。
- 在提出问题时在窗口之间切换过快可能会导致 Copilot 根据错误的屏幕内容做出响应。
- 视觉无法执行操作或直接操作屏幕上的项目。
- 视力没有长期回忆。 它不会重复使用以前会话中的屏幕或相机输入。
注意
这些是启动时的功能。 随着时间的推移，正在进行的改进可能会解决其中一些限制。
视觉可以访问什么？
在活动会话期间，Copilot 会处理你选择共享的屏幕或相机内容，以及Microsoft 365 工作数据，以对其答案（如文档、电子邮件、会议和先前讨论）进行基础。
- 视觉输入由用户发起并绑定会话，因此 Copilot 仅适用于活动会话期间共享的内容。
- 共享屏幕或相机内容作为一系列图像进行处理。 音频和视频数据会暂时存储，以便你向Microsoft提供反馈，并在 48 小时后删除。
- 语音对话的文本脚本的存储和管理方式与智能 Microsoft 365 Copilot 副驾驶®应用中的文本对话相同。
- Vision 遵循Microsoft对数据安全和隐私的企业级承诺，并且不会推断种族或情感等敏感个人属性。
有关详细信息，请参阅智能 智能 Microsoft 365 Copilot 副驾驶® 副驾驶®的数据、隐私和安全性。
支持哪些类型的内容？
视觉可以理解一系列屏幕和真实内容，包括：
- 文本、图像、图表、表和仪表板。
- 桌面上的应用界面和多窗口工作流。
- 通过移动摄像头查看的物理对象。
支持哪些语言？
智能 智能 Microsoft 365 Copilot 副驾驶® 副驾驶®支持的所有语言都可以使用视觉。 某些语言可能更容易出现发音或识别差异。 有关完整列表，请参阅智能 智能 Microsoft 365 Copilot 副驾驶® 副驾驶®支持的语言。
如何评估视觉对话？ 哪些指标用于度量性能？
为了确保质量，Copilot 会给出测试问题，并根据相关性、正确性、完整性、语气和指令遵从性等条件评估其响应。 为了更好地衡量性能，我们还查看了功能使用情况、点赞率、参与率和用户反馈。 我们还进行广泛的安全评估，确保视觉以负责任的方式响应有害查询。
如何实现在 Copilot 中提供有关视觉的反馈？
结束语音聊天后，可以提供反馈。 应会看到聊天历史记录中会显示一个向上/向下的拇指，该历史记录与 Microsoft 共享以改进功能。 我们不使用此反馈来训练 Copilot 使用的基础模型。