必应中的 Copilot：我们的负责任 AI 方法

在模型级别，我们的工作始于 2022 年夏末对GPT-4的探索性分析。 这包括与 OpenAI 合作进行广泛的红队测试。 此测试旨在评估最新技术的工作原理，而无需应用任何额外的安全措施。 我们当时的具体意图是产生有害的反应，发现潜在的滥用途径，并确定功能和限制。 我们在 OpenAI 和 Microsoft 方面的综合学习有助于模型开发的进步，并且对于 Microsoft 来说，我们了解了风险，并为 Bing 中的 Copilot 早期缓解策略做出了贡献。  

除了模型级红队测试外，一个多学科专家团队在Bing AI体验中对 Copilot 进行了多轮应用级红队测试，然后在我们的有限版本预览版中公开发布。 此过程帮助我们更好地了解了攻击者如何利用系统，并改进我们的缓解措施。 非对抗性压力测试人员还广泛评估了新的必应功能是否存在缺点和漏洞。 发布后，必应中的新 AI 体验已集成到必应工程组织现有的生产测量和测试基础结构中。 例如，来自不同区域和背景的红队测试人员持续且系统地尝试破坏系统，他们的发现结果用于扩展必应用于改进系统的数据集。  

红队测试和压力测试可能会发现特定风险的实例，但在生产环境中，用户将在必应中与 Copilot 进行数百万种不同的对话。 此外，对话是多轮次和上下文的，识别对话中的有害内容是一项复杂的任务。 为了更好地了解和解决 Copilot 在Bing AI体验中的潜在风险，我们针对这些新的 AI 体验开发了其他负责任的 AI 指标，用于测量潜在风险，例如越狱、有害内容和未设置背景的内容。 我们还通过部分自动化的测量管道实现了大规模测量。 每次更改产品、更新现有缓解措施或提出新的缓解措施时，我们都会更新我们的度量管道，以评估产品性能和负责任的 AI 指标。  

作为一个说明性示例，更新的有害内容的部分自动化度量管道包括两个主要创新：对话模拟和自动人工验证的聊天注释。 首先，负责任的 AI 专家构建了模板来捕获可能导致不同类型的有害内容的对话结构和内容。 然后，将这些模板提供给对话代理，该代理以假设用户身份与必应中的 Copilot 交互，生成模拟对话。 为了确定这些模拟对话是否包含有害内容，我们采用了通常由专家语言学家用来标记数据的指南，并对其进行了修改，供GPT-4大规模标记对话，对准则进行细化，直到模型标记的对话与人为标记的对话达成重大一致为止。 最后，我们使用模型标记的对话来计算负责任的 AI 指标，该指标捕获必应中 Copilot 在减少有害内容方面的有效性。   

我们的测量管道使我们能够快速对潜在风险进行大规模测量。 在通过预览期和正在进行的红队测试发现新问题时，我们会继续扩展度量集以评估其他风险。  

由于我们通过红队测试和压力测试等流程识别了潜在风险和滥用情况，并使用上述创新方法对其进行了测量，因此我们针对用于传统搜索的缓解措施开发了其他缓解措施。 下面，我们将介绍其中的一些缓解措施。 我们将继续在Bing AI体验中监视 Copilot，以提高产品性能和缓解措施。  

分阶段发布，持续评估。 随着技术和用户行为的发展，我们致力于不断学习和改进负责任的 AI 方法。 我们的增量发布策略一直是我们如何安全地将技术从实验室转移到世界的核心部分，我们致力于一个深思熟虑的过程，以确保 Copilot 在必应的优势。 通过限制预览期间有权访问的用户数量，我们可以发现人们如何在必应中使用 Copilot，包括用户如何滥用 Copilot，因此我们可以尝试在更广泛的发布之前缓解新出现的问题。 例如，我们要求用户在访问全新的必应体验之前使用其 Microsoft 帐户进行身份验证。 未经身份验证的用户只能访问体验的有限预览版。 这些步骤会阻止滥用行为，并帮助我们在必要时 (，) 采取适当措施应对违反行为准则的行为。  我们正在每天对必应中的 Copilot 进行更改，以提高产品性能、改进现有缓解措施，并实施新的缓解措施，以响应我们在预览期的学习。  

在搜索结果中建立地面。 如上所述，必应中的 Copilot 旨在当用户在查找信息时提供 Web 搜索结果中信息支持的响应。 例如，系统通过元提示提供来自顶部搜索结果的文本和说明，以使其响应得到基础。 但是，在汇总来自 Web 的内容时，必应中的 Copilot 可能会在其响应中包含其输入源中不存在的信息。 换句话说，它可能会产生非背景结果。 我们的早期评估表明，对于某些类型的提示或主题，聊天中的非背景结果可能比其他类型更普遍，例如，要求提供数学计算、财务或市场信息 (公司收益、股票业绩数据) ，以及确切的事件日期或项目特定价格等信息。 无论是在搜索结果页面还是在聊天体验中查看汇总的搜索结果时，用户都应始终谨慎行事，并使用最佳判断。 我们已采取多项措施，以降低用户在摘要方案和聊天体验中可能过度依赖未设置的生成内容的风险。 例如，必应 Copilot 中基于搜索结果的响应包括对源网站的引用，供用户验证响应并了解详细信息。 用户还明确通知他们正在与 AI 系统交互，并建议检查 Web 结果源材料，以帮助他们使用最佳判断。  

基于 AI 的分类器和元分析，可缓解潜在风险或误用。 使用 LLM 可能会产生可能导致风险或滥用的问题内容。 示例可能包括与自我伤害、暴力、图形内容、知识产权、不准确的信息、仇恨言论或可能与非法活动相关的文本相关的输出。 分类器和元分析是两个缓解措施示例，这些缓解措施已在必应的 Copilot 中实现，以帮助降低这些类型内容的风险。 分类器对文本进行分类，以在搜索查询、聊天提示或生成的响应中标记不同类型的潜在有害内容。 必应使用基于 AI 的分类器和内容筛选器，这些分类器和内容筛选器适用于所有搜索结果和相关功能;我们专门设计了其他提示分类器和内容筛选器，以解决必应功能中的 Copilot 可能带来的风险。 标志会导致潜在的缓解措施，例如不向用户返回生成的内容、将用户转移到其他主题或将用户重定向到传统搜索。 元分析涉及向模型提供指导其行为的指令，包括使系统的行为符合 Microsoft 的 AI 原则和用户期望。 例如，元prompt 可能包含一行，例如“使用用户选择的语言进行通信”。   

在必应的 Copilot 中保护 Visual 搜索 中的隐私。 当用户在聊天提示中上传图像时，必应中的 Copilot 将在将图像发送到 AI 模型之前采用人脸模糊技术。 人脸模糊用于保护图像中个人隐私。 人脸模糊技术依赖于上下文线索来确定模糊的位置，并将尝试模糊所有人脸。 人脸模糊后，AI 模型可以将输入的图像与 Internet 上公开提供的图像进行比较。 因此，例如，必应的Copilot可以通过创建一个数字表示来反映球员的球衣号码、球衣颜色、篮球圈的存在等，从该球员在篮球场上的照片中识别出一个著名的篮球运动员。必应中的 Copilot 不会存储上传图像中人员的数字表示形式，也不会与第三方共享。 必应中的 Copilot 使用用户上传的图像的数字表示形式，这些图像仅用于响应用户的提示，然后在聊天结束后的 30 天内将其删除。    

如果用户在必应中要求 Copilot 提供有关上传图像的信息，聊天响应可能会反映人脸模糊对模型提供有关上传图像的信息的能力的影响。 例如，必应中的 Copilot 可能会将某人描述为脸模糊。    

限制对话偏移。 在预览期间，我们了解到，长时间的聊天会话可能会导致响应重复、无益或与 Copilot 在必应的预期语气中不一致。 为了解决这种对话偏差，我们限制每个聊天会话中同时包含用户问题和 Copilot 回复 (交换) 轮次数。 我们将继续评估缓解此问题的其他方法。  

提示扩充。 在某些情况下，用户的提示可能不明确。 发生这种情况时，必应中的 Copilot 可能会使用 LLM 来帮助在提示中构建更多详细信息，以帮助确保用户获得他们正在寻求的响应。 这种提示扩充不依赖于用户或其先前搜索的任何知识，而是依赖于 AI 模型。 这些修订后的查询将显示在用户的聊天历史记录中，并且与其他搜索一样，可以使用产品内控件删除。  

以用户为中心的设计和用户体验干预。 以用户为中心的设计和用户体验是 Microsoft 实现负责任的 AI 方法的一个重要方面。 目标是将产品开发根植于用户的需求和期望。 当用户首次在必应中与 Copilot 交互时，我们提供各种接触点，旨在帮助他们了解系统的功能，向他们披露必应中的 Copilot 由 AI 提供支持，并传达限制。 这种体验旨在帮助用户在必应中充分利用 Copilot，并最大程度地降低过度关联的风险。 体验的元素还有助于用户更好地了解必应中的 Copilot 及其与其交互。 其中包括特定于负责任 AI 的聊天建议 (例如，必应如何使用 AI？ 为什么必应中的 Copilot 不对某些主题做出响应？) 、限制说明、用户可以详细了解系统工作原理和报告反馈的方式，以及响应中出现的可导航引用，以便向用户显示响应所基于的结果和页面。  

AI 披露。 必应中的 Copilot 提供了多个用于有意义的 AI 披露的接触点，其中通知用户他们正在与 AI 系统交互，并有机会详细了解必应中的 Copilot。 为用户提供这些知识可以帮助他们避免过度依赖 AI，并了解系统的优势和局限性。  

媒体来源。Microsoft Designer启用了“内容凭据”功能，该功能使用加密方法来标记在 Designer 上创建的所有 AI 生成图像的源或“来源”。 不可见的数字水印功能显示原始创建的来源、时间和日期，无法更改此信息。 该技术采用内容和真实性联盟 (C2PA) 制定的标准，为 AI 生成的图像添加额外的信任层和透明度。 Microsoft 是 C2PA 的联合创始人，并贡献了核心数字内容来源技术。 

使用条款和行为准则。 此资源控制必应中 Copilot 的使用。 用户应遵守 使用条款和行为准则，除其他事项外，还告知他们允许和不允许的使用以及违反条款的后果。 使用条款还为用户提供了其他披露，并作为用户了解必应中的 Copilot 的便捷参考。   

操作和快速响应。 我们还在必应的持续监视和操作过程中使用 Copilot 来解决必应中的 Copilot 何时收到信号或收到指示可能滥用或违反 使用条款或行为准则的报告。  

反馈、监视和监督。 必应中的 Copilot 体验建立在现有工具的基础上，该工具允许用户提交反馈和报告问题，这些反馈和报告问题由 Microsoft 的运营团队审查。 必应的操作流程也进行了扩展，以适应 Copilot 在必应体验中的功能，例如，更新了 “报告关注事项 ”页面，以包含用户在模型的帮助下生成的新类型内容。   

随着我们了解详细信息，我们识别、衡量和缓解风险的方法将继续发展，并且我们已经根据预览期间收集的反馈进行改进。     

自动内容检测。 当用户在聊天提示中上传图像时，必应中的 Copilot 会部署工具来检测儿童性剥削和虐待图像 (CSEAI) ，尤其是 PhotoDNA 哈希匹配技术。 Microsoft 开发了 PhotoDNA 来帮助查找已知 CSEAI 的副本。 根据美国法律的要求，Microsoft 将所有明显的 CSEAI 报告给国家失踪和受剥削儿童中心 (NCMEC) 。 当用户上传文件进行分析或处理时，Copilot 会部署自动扫描来检测可能导致风险或滥用的内容，例如可能与非法活动或恶意代码相关的文本。

Microsoft 继续将儿童和年轻人的需求视为必应 Copilot 中新生成 AI 功能的风险评估的一部分。 将用户标识为 13 岁以下或根据当地法律另行指定的所有 Microsoft 子帐户都不能登录以访问全新的必应体验。   

如上所述，我们已为所有用户实施了可缓解潜在有害内容的安全措施。 在必应的 Copilot 中，结果在必应安全搜索的严格模式下设置为 ，该模式在main必应搜索中具有最高级别的安全保护，从而防止用户（包括青少年用户）接触到潜在的有害内容。 除了我们在本文档和有关聊天功能的 常见问题解答 中提供的信息外， 此处还提供了有关必应中的 Copilot 如何避免在搜索结果中使用意外冒犯性内容做出响应的详细信息。  

Microsoft 承诺不会根据在线行为向在其 Microsoft 帐户中确定其出生日期为 18 岁以下的儿童提供个性化广告。 这一重要保护将扩展到必应功能中的 Copilot 中的广告。 用户可能会看到基于用于与必应交互的查询或提示的上下文广告。  

为了释放生成 AI 的变革潜力，我们必须通过授权个人了解其数据的使用方式，并为他们提供对数据的有意义的选择和控制，从而建立对技术的信任。 必应中的 Copilot 旨在通过提供有关产品工作原理及其局限性的信息，以及将我们强大的消费者选择和控制扩展到 Copilot in Bing 功能来优先考虑人类代理。   

Microsoft 隐私声明提供有关我们保护客户的透明隐私做法的信息，并列出了有关控制措施的信息，这些控制措施使我们的用户能够查看和管理其个人数据。 为了帮助确保用户在与必应的新对话功能交互时获得所需的信息，产品内披露会告知用户他们正在与 AI 产品互动，并且我们提供了有关这些功能工作原理的进一步 常见问题解答 和说明的链接。 Microsoft 将继续听取用户反馈，并将根据需要添加必应对话功能的进一步详细信息，以支持对产品工作方式的理解。   

Microsoft 还为其用户提供了强大的工具，用于对其个人数据行使其权利。 对于 Copilot 在必应中收集的数据（包括通过用户查询和提示收集）， Microsoft 隐私仪表板 为经过身份验证 (登录) 用户提供行使其数据主体权限的工具，包括为用户提供查看、导出和删除存储对话历史记录的功能。 Microsoft 会继续获取有关他们希望如何管理其新必应体验的反馈，包括通过使用上下文中数据管理体验。   

必应的 Copilot 也遵循 Microsoft 为必应的传统搜索功能开发和改进的过程，遵守欧洲被遗忘权下的请求。 所有用户都可以 在此处报告有关生成内容和回复的问题，我们的欧洲用户可以 使用此表单 提交请求，以阻止欧洲的搜索结果被遗忘的权利。   

必应中的 Copilot 将遵循用户的隐私选择，包括之前在必应所做的选择，例如同意通过 Microsoft 隐私仪表板中提供的 Cookie 横幅和控件请求的数据收集和使用。 为了帮助实现用户自主性和代理性，做出明智的决策，我们使用了内部审查流程来仔细检查如何向用户呈现选择。 

除了通过 Microsoft 隐私仪表板提供的控件（允许用户查看、导出和删除其搜索历史记录，包括其聊天历史记录的组件）外，在产品中启用了聊天历史记录功能的经过身份验证的用户还可以通过产品内控件查看、访问和下载聊天历史记录。 用户可以通过访问必应设置页面，随时从聊天历史记录中清除特定聊天或完全关闭聊天历史记录功能。 用户还可以选择是否允许个性化访问具有个性化答案的更定制体验。 用户可以随时在必应设置页面的聊天设置中选择加入和退出个性化设置。  从聊天历史记录中清除特定聊天可防止将其用于个性化。  
 
有关聊天历史记录和个性化的详细信息，请参阅必应 常见问题解答中的 Copilot 向用户提供。 

必应的 Copilot 在构建时考虑到了隐私，因此，仅根据需要收集和使用个人数据，并且不会保留超过必要的时间。 如上所述，Copilot in Bing 功能中的视觉搜索部署了一种机制，在用户上传图像时模糊图像中的人脸，因此不会进一步处理或存储面部图像。 Microsoft 隐私声明中提供了有关必应收集的个人数据、使用方式以及存储和删除方式的详细信息，该声明还提供了有关必应新聊天功能的信息。   

必应中的 Copilot 具有数据保留和删除策略，可帮助确保仅在需要时保留通过必应聊天功能收集的个人数据。   

我们将继续学习和发展我们在必应中提供 Copilot 的方法，同时，我们将继续跨学科合作，使 AI 创新与人类价值观和基本权利保持一致，包括保护年轻用户和隐私。   

与必应中的 Copilot 一样，当具有商业数据保护最终用户的 Copilot 在界面中输入提示时，提示、即时对话、热门搜索结果和元prompt 将作为输入发送到 LLM。 该模型使用提示和即时对话历史记录生成响应以将请求上下文化，使用元提示生成响应以与 Microsoft AI 原则和用户期望保持一致，并使用搜索结果对来自 Web 的现有高级内容中的响应进行地面响应。 这与上述文档中所述的必应中的 Copilot 的工作方式相同，但具有商业数据保护功能的 Copilot 仅依赖于即时对话历史记录， (不是最近的聊天历史记录) ，因为存储的聊天历史记录不是当前支持的功能。 Designer和 Visual 搜索 现已在此版本中提供。 

与其他转型技术一样，利用 AI 的优势并非无风险，Microsoft 负责任 AI 计划的核心部分旨在识别潜在风险、衡量其发生倾向，并构建缓解措施来解决这些问题。 同样，上述有关 Microsoft 在必应中识别、衡量和缓解 Copilot 潜在风险的努力的说明也适用于此版本，下面对缓解措施进行了一些说明： 

分阶段发布，持续评估。 与 Copilot Bing 非常类似，对于具有商业数据保护的 Copilot，我们还采取了增量发布方法。 2023 年 7 月 18 日，具有商业数据保护的 Copilot 作为免费预览版提供给具有特定 M365 帐户的合格企业客户，可供其企业最终用户打开。 在通知符合条件的企业客户 30) 天后，30 (具有商业数据保护的 Copilot 为这些客户“默认启用”。 此后，具有商业数据保护的 Copilot 也可用于特定教育教职员工 M365 帐户。 具有商业数据保护的 Copilot 将于 2023 年 12 月 1 日正式提供给某些企业客户。 将来，我们计划通过商业数据保护将 Copilot 的访问权限扩展到更多Microsoft Entra ID用户。

使用条款和行为准则。 具有商业数据保护的 Copilot 最终用户必须遵守最终用户使用条款。 这些使用条款告知最终用户允许和不允许的用途以及违反条款的后果。  

操作和快速响应。 我们还在必应的持续监视和操作过程中使用 Copilot 来解决具有商业数据保护功能的 Copilot 何时收到信号或收到指示可能滥用或违反最终用户使用条款的报告。 

反馈、监视和监督。 具有商业数据保护的 Copilot 使用与必应中的 Copilot 相同的工具，让用户提交反馈和报告问题，这些反馈和报告问题由 Microsoft 运营团队审查。 必应操作流程中的 Copilot 也进行了扩展，以适应具有商业数据保护体验的 Copilot 中的功能，例如，更新了“报告关注事项”页面，以包含用户在模型的帮助下生成的新类型内容。  

为了帮助确保最终用户在与 Copilot 进行商业数据保护交互时获得所需的信息，本文档底部提供了产品文档，包括常见问题解答和了解详细信息页面。 

使用商业数据保护的 Copilot 最终用户生成的提示和响应将按照企业数据处理标准进行处理和存储。 Copilot 商业数据保护产品/服务目前仅适用于企业客户及其经过身份验证的成人最终用户，因此，目前我们预计儿童或年轻人不会成为具有商业数据保护的 Copilot 的最终用户。 此外，具有商业数据保护的 Copilot 不会向最终用户提供任何行为定向广告。 相反，显示的任何广告都只是与上下文相关的广告。  

本文档是 Microsoft 将 AI 原则付诸实践的更广泛努力的一部分。 若要了解详细信息，请参阅：

Microsoft 的负责任 AI 方法

Microsoft 负责任 AI 标准

Microsoft 的负责任 AI 资源  

有关负责任 AI 的 Microsoft Azure 学习课程  

新必应简介  

使用条款和行为准则

常见问题

使用商业数据保护的 Copilot 概述

最终用户使用条款

常见问题