Microsoft Copilot용 투명성 노트(개인용)

2026년 8월 18일

투명성 메모란 무엇인가요?

AI 시스템에는 기술뿐만 아니라 이를 사용할 사람, 영향을 받는 사람, AI가 배포되는 환경도 포함됩니다. Microsoft의 투명성 정보는 Copilot 뒤에 있는 AI 기술의 작동 방식, 시스템의 성능과 동작에 영향을 미치는 Microsoft의 선택, 전체 시스템에 대해 생각하는 것의 중요성을 이해하는 데 도움을 주기 위한 것입니다. Copilot 사용자는 자신의 환경을 제어하고 안전하고 보안이 유지되는 제품을 제공하기 위해 취하는 단계를 이해할 수 있습니다.

Microsoft의 투명성 정보는 AI 원칙을 구현하기 위한 Microsoft의 광범위한 노력의 일부입니다. 자세한 내용은 Microsoft AI 원칙을 참조하세요.

Microsoft Copilot의 기본 사항

소개

Microsoft Copilot을 사용하면 아이디어에서 완성된 작업까지 모두 한 곳에서 이동할 수 있습니다. Copilot은 Word, Excel, PowerPoint, Outlook, Teams 등에 통합되어 사용하는 파일과 정보를 하나의 환경으로 가져옵니다. Copilot을 사용하면 세련된 문서, 프레젠테이션, 스프레드시트를 만들고, 전자 메일 초안을 작성하고, 하루를 정리하고, 현재 하고 있는 작업에 기반한 답변을 얻을 수 있습니다. Cowork를 통해 Copilot은 더 큰 다단계 작업을 지원하고 완료된 할 일을 제공할 수도 있습니다. 다양한 종류의 작업에 대한 주요 AI 모델 중에서 선택할 수도 있습니다. 특정 기능은 구독에 따라 다릅니다.

Microsoft는 책임 있는 AI에 대한 약속을 진지하게 받아들입니다. Copilot은 Microsoft의 AI 원칙, Microsoft의 Responsible AI Standard 및 Microsoft의 Office of Responsible AI, 엔지니어링 팀, Microsoft Research 및 Aether를 포함하여 회사 전체의 책임 있는 AI 전문가와 협력하여 개발되었습니다. Microsoft의 책임 있는 AI에서 자세히 알아볼 수 있습니다.

이 문서에서는 Copilot을 위한 책임 있는 AI에 대한 접근 방식을 설명합니다. 릴리스에 앞서 Microsoft의 최첨단 방법을 활용하여 시스템의 잠재적 위험 및 오용을 매핑, 측정 및 관리하고 사용자를 위한 이점을 확보했습니다. Microsoft는 Copilot을 계속 발전시키면서 책임 있는 AI 노력도 계속 배우고 개선해 왔습니다. 이 문서는 진화하는 프로세스와 방법을 전달하기 위해 주기적으로 업데이트됩니다.

주요 용어

분류자 데이터를 레이블이 지정된 클래스 또는 정보 범주로 정렬하는 데 도움이 되는 기계 학습 모델입니다. Copilot에서 분류자를 사용하는 한 가지 방법은 사용자가 제출하거나 시스템에서 생성한 잠재적으로 유해한 콘텐츠를 감지하여 해당 콘텐츠 생성과 시스템의 오용 또는 남용을 완화하는 것입니다.

접지 사용자가 정보를 검색하는 특정 대화의 경우 Copilot은 웹 검색 결과에 기반을 둡니다. 즉, Copilot은 웹의 상위 순위 콘텐츠에 응답을 집중하고 생성된 텍스트 응답 또는 음성 모드의 대화 대본에 하이퍼링크된 인용을 제공합니다.

LLM(대규모 언어 모델) 이 맥락에서 대규모 언어 모델(LLM)은 시퀀스의 단어를 예측하기 위해 대량의 텍스트 데이터에 대해 학습된 AI 모델입니다. LLM은 텍스트 생성, 요약, 번역, 분류 등과 같은 다양한 작업을 수행할 수 있습니다.

완화 Copilot 내에서 AI 기능을 사용할 때 발생할 수 있는 잠재적 위험을 줄이기 위해 설계된 방법 또는 방법 조합입니다.

다중 모드 모델(MMM) 다중 모드 모델(MMM)은 텍스트, 이미지 또는 오디오와 같은 다양한 유형의 데이터에 대해 학습된 AI 모델입니다. 이러한 모델은 텍스트 작성, 이미지 설명, 음성 인식, 다양한 유형의 데이터 정보 찾기 등 다양한 작업을 수행할 수 있습니다.

프롬프트 사용자가 Copilot 내의 AI 기능과 상호 작용하기 위해 Copilot에 보내는 텍스트, 이미지 및/또는 오디오 형식의 입력입니다.

레드 팀 전문가가 시스템의 한계와 취약성을 평가하고 계획된 완화의 효과를 테스트하는 데 사용하는 기술입니다. 레드팀 테스트에는 테스터가 잠재적인 위험을 식별하기 위해 온화한 가상 사용자와 적대적인 가상 사용자를 모두 채택하는 것이 포함되며 체계적인 위험 측정과는 구별됩니다.

응답 프롬프트에 대한 응답으로 또는 사용자와의 대화의 일환으로 Copilot이 출력하는 텍스트, 이미지 또는 오디오입니다. "응답"의 동의어로는 "완료", "생성" 및 "답변"이 있습니다.

SLM(소규모 언어 모델) 이 맥락에서 소규모 언어 모델(SLM)은 대규모 언어 모델에 비해 더 작고 집중된 양의 데이터로 훈련된 AI 모델입니다. SLM은 크기가 작음에도 불구하고 텍스트 생성, 요약, 번역 및 분류와 같은 다양한 작업을 수행할 수 있습니다. SLM은 LLM의 광범위한 기능과 일치하지 않을 수 있지만 종종 리소스 효율적이며 특정 대상 애플리케이션에 매우 효과적일 수 있습니다.

시스템 메시지 시스템 메시지("메타 프롬프트"라고도 함)는 시스템의 동작을 안내하는 역할을 하는 프로그램입니다. 시스템 메시지의 일부는 시스템 동작을 Microsoft의 AI 원칙 및 사용자 기대치에 맞추는 데 도움이 됩니다. 예를 들어 시스템 메시지에 "신체적, 정서적 또는 재정적 피해를 초래할 수 있는 정보를 제공하거나 콘텐츠를 만들지 마십시오"와 같은 문구가 포함될 수 있습니다.

기능

시스템 동작

Microsoft는 Copilot을 사용하여 사용자에게 보다 개인화된 AI 환경을 제공하여 사용자가 다양한 작업을 수행하는 데 도움이 되는 매력적인 환경을 제공하는 혁신적인 접근 방식을 개발했습니다. 이 혁신적인 접근 방식은 Microsoft, OpenAI 및 기타 모델 개발자의 언어 및 다중 모드 모델과 같은 다양한 고급 기술을 활용합니다. 향상된 Copilot 환경을 제공하는 사용자 지정 기능과 동작 세트를 개발하기 위해 공개 출시 전에 Copilot의 기본 모델에 대한 안전 기술 구현을 수행했습니다. Copilot에서 사용자는 자연어, 텍스트 또는 음성으로 프롬프트를 보낼 수 있습니다. 응답은 텍스트 형식의 채팅 응답(필요한 경우 웹 콘텐츠에 대한 기존 링크 포함) 및 이미지(프롬프트의 일부로 이미지 요청이 이루어진 경우)와 같은 여러 가지 형식으로 사용자에게 표시됩니다. 사용자가 Copilot 음성 모드에서 자연어 음성으로 프롬프트를 보내면 오디오 응답을 받게 됩니다.

사용자가 Copilot에서 프롬프트를 입력하면 프롬프트, 대화 기록 및 시스템 메시지가 여러 입력 분류자를 통해 전송되어 유해하거나 부적절한 콘텐츠를 필터링하는 데 도움이 됩니다. 이는 모델 성능을 개선하고 사용자가 안전하지 않을 수 있는 방식으로 모델에 프롬프트를 표시하려고 시도할 수 있는 상황을 완화하기 위한 중요한 첫 번째 단계입니다. 프롬프트가 입력 분류자를 통과하면 요청에 웹의 기반 데이터가 필요한지, 요청에 응답해야 하는 언어 모델이 결정됩니다. 모든 모델은 사용자의 프롬프트와 최근 대화 기록을 사용하여 응답을 생성하여 요청을 맥락화하고, 시스템 메시지를 사용하여 응답을 Microsoft의 AI 원칙 및 사용자 기대에 맞추고, 적절한 경우 응답을 검색 결과와 일치시켜 웹의 기존 상위 콘텐츠에 대한 응답을 기반으로 합니다.

응답은 텍스트 형식의 채팅 응답, 웹 콘텐츠에 대한 기존 링크, 이미지 및 오디오 응답과 같은 여러 가지 형식으로 사용자에게 제공됩니다. 응답이 텍스트 형식으로 제공되고 응답이 웹의 데이터에 기반한 경우 출력에는 텍스트 아래에 나열된 하이퍼링크 인용이 포함되므로 사용자는 응답을 기반으로 하는 데 사용된 웹 사이트에 액세스하고 거기에서 주제에 대해 자세히 알아볼 수 있습니다. Copilot은 코드를 실행하여 복잡한 계산을 완료하고 그래프를 생성할 수도 있습니다. Copilot은 사용자가 기억하도록 요청하는 특정 사실을 저장하여 해당 컨텍스트에 따라 더 관련성 있는 응답과 제안을 생성할 수 있습니다. 또한 Copilot은 사용자가 명시적으로 잊어달라고 요청할 때 저장된 팩트를 삭제할 수 있습니다.

또한 Copilot은 사용자가 새로운 이야기, 시, 노래 가사 및 이미지를 만드는 데 도움이 됩니다. Copilot이 창의적인 콘텐츠(예: "작성해 줘..."로 시작하는 사용자 프롬프트)를 생성하려는 사용자 의도를 감지하면 대부분의 경우 시스템은 사용자의 프롬프트에 반응하는 콘텐츠를 생성합니다. 마찬가지로 Copilot이 이미지를 생성하려는 사용자 의도를 감지하면(예: "그림을 그려줘..."로 시작하는 사용자 프롬프트) 대부분의 경우 Copilot은 사용자의 프롬프트에 반응하는 이미지를 생성합니다. Copilot이 업로드된 이미지를 수정하려는 사용자 의도(예: "추가..."로 시작하는 사용자 프롬프트)를 감지하면 대부분의 경우 Copilot은 사용자의 프롬프트에 반응하는 이미지를 수정합니다. 사용자 프롬프트에 문제가 콘텐츠가 될 수 있는 특정 용어가 포함된 경우 Copilot이 창의적인 콘텐츠로 응답하지 않을 수 있습니다.

의도된 안전 동작

Copilot의 목표는 사용자에게 도움이 되는 것이며, 유해한 콘텐츠가 생성될 가능성을 줄이고 안전하고 긍정적인 사용자 환경의 가능성을 높이는 데 도움이 되는 보호 장치를 구현합니다. 위험을 완화하기 위한 조치를 취했지만 Copilot 뒤에 있는 모델과 같은 생성형 AI 모델은 확률적이며 실수를 할 수 있습니다. 즉, 완화가 때때로 유해한 사용자 프롬프트 또는 AI 생성 응답을 차단하지 못할 수 있습니다. Copilot을 사용하는 동안 유해하거나 예기치 않은 콘텐츠가 발생하는 경우 환경을 지속적으로 개선할 수 있도록 피드백을 제공하여 알려주세요.

사용 사례

사용 목적

Copilot은 사용자가 텍스트, 이미지 및 음성을 사용하여 자연어를 통해 질문에 답변하고, 콘텐츠를 생성하고, 작업을 완료할 수 있도록 설계되었습니다. 유용하고 관련성 있는 응답을 제공하기 위해 Copilot은 사용 가능한 원본에서 정보를 검색, 분석 및 요약할 수 있습니다. 일부 고급 기능은 적격 구독이 있는 사용자만 사용할 수 있습니다. 일반적인 사용 사례의 예는 다음과 같습니다.

• 텍스트를 사용하여 Chat하고 웹 기반 요약을 가져옵니다. 사용자는 문자를 통해 Copilot과 채팅하고 후속 질문을 하여 새로운 정보를 찾고 다양한 topics에 대한 지원을 받을 수 있습니다. Copilot은 웹 검색을 수행할 수 있으며 상위 웹 검색 결과를 사용하여 사용자에게 제공할 정보 요약을 생성합니다. 이러한 요약에는 사용자가 Copilot의 요약을 기반으로 하는 데 도움이 된 검색 결과의 원본을 검토하는 데 도움이 되는 웹 페이지에 대한 인용이 포함됩니다. 사용자는 이러한 링크를 클릭하여 웹 사이트 소스를 방문하여 자세한 내용을 알아보거나 웹 사이트의 안정성을 평가할 수 있습니다.

• 새로운 아이디어를 생성하는 데 도움을 받으세요. 사용자가 Copilot 환경과 상호 작용할 때마다 유용하고 흥미로운 topics에 대해 Copilot과 채팅을 시작하기 위해 클릭할 수 있는 카드 집합이 표시됩니다. 사용자가 다른 Microsoft 소비자 서비스와 상호 작용한 경우 카드는 개인 정보 보호 정책에 따라 개인 설정됩니다. 시간이 지남에 따라 사용자의 채팅 기록에 따라 Copilot의 카드가 개인화될 수 있습니다. 사용자는 설정에서 언제든지 개인 설정을 옵트아웃할 수 있습니다.

• 창의적인 콘텐츠를 생성하세요. Copilot과 채팅할 때 사용자는 Copilot의 도움을 받아 새로운 시, 농담, 이야기, 이미지 및 기타 콘텐츠를 만들 수 있습니다. Copilot은 요청 시 사용자가 업로드한 이미지를 편집할 수도 있습니다.

• 연구를 지원합니다. Copilot은 심층적인 리소스를 표시하고, topics에 대한 자세한 분석을 제공하고, 사용자가 더 복잡한 쿼리에 대한 빠른 답변을 넘어 찾을 수 있도록 원본에 링크를 제공하여 연구 작업을 수행할 수 있습니다. Copilot은 과거 연구 쿼리 및 Copilot 메모리와 같은 항목을 기반으로 사용자를 위한 맞춤형 연구 제안을 사전에 생성할 수 있습니다. 사용자는 설정에서 언제든지 개인 설정 또는 알림을 옵트아웃할 수 있습니다.

• 제품을 검색, 비교 및 구매합니다. Copilot Shopping은 제품을 찾고, 옵션을 비교하고, 구매를 간소화하는 데 도움이 될 수 있습니다. 확인된 경우를 제외하고 Microsoft는 Copilot에서 제공되는 제품 제안 또는 검색 결과에 대해 수수료 또는 기타 보상을 받지 않습니다.

• Copilot Learn으로 더 스마트하게 공부하세요. Copilot Learn은 퀴즈 및 연습 테스트를 만들고, 플래시 카드를 생성할 수 있으며, 복잡한 개념을 더 쉽게 이해할 수 있도록 이미지로 응답을 향상하도록 설계되었습니다.

• 일일 작업에 대한 도움말을 볼 수 있습니다. Copilot Cowork는 사용자를 대신하여 작업을 수행합니다. 필요한 내용을 자연어로 설명하면 Cowork가 문서 작성, 이메일 초안 작성 및 전송, 모임 예약, 파일 관리 등의 작업을 수행합니다. 중요한 작업이 발생하기 전에 검토하고 승인합니다.

• 파일을 분석하고 편집합니다. Copilot에서 파일을 업로드하면 사용자가 이미지 또는 지원되는 특정 파일 형식을 채팅 세션에 직접 업로드할 수 있습니다. 업로드되면 Copilot은 이러한 파일에서 정보를 분석하고 추출하여 관련 인사이트를 제공하거나, 질문에 답변하거나, 특정 작업을 지원할 수 있습니다. 또한 Copilot은 사용자의 허락을 받아 OneDrive 및 Google Drive와 같은 연결된 온라인 저장소 공급자의 파일을 참조할 수 있습니다.

• 보고 이해하십시오. Vision을 사용하여 이미지를 분석하고, 사진에서 인사이트를 얻고, 시각적으로 검색할 수 있습니다. Copilot은 업로드된 이미지를 검토하여 보고 있는 내용을 이해하는 데 도움을 줍니다.

• 음성을 사용하세요. 음성 채팅을 사용하여 Copilot과 자연스럽게 대화하세요. 완전히 핸즈프리로 아이디어를 브레인스토밍하거나, 콘텐츠를 작성하거나, 빠른 답변을 얻습니다.

• 다른 앱에 연결합니다. 전자 메일, 일정, 파일, 연락처 및 기타 서비스와 같이 선택한 앱과 정보를 가져옵니다.

다른 사용 사례를 선택할 때 고려 사항

AI는 실수를 할 수 있고 특정 사용 사례에 적합하지 않을 수 있으므로 Copilot의 응답에 따라 결정을 내리거나 조치를 취하기 전에 사용자가 모든 콘텐츠를 검토하는 것이 좋습니다. 또한 피하는 것이 좋거나 사용 약관에 위배되는 특정 시나리오가 있습니다. 예를 들어 Microsoft는 불법 활동과 관련하거나 불법 활동을 조장하려는 목적으로 Copilot을 사용하는 것을 허용하지 않습니다.

제한 사항

Copilot 환경의 기반이 되는 언어, 이미지 및 오디오 모델에는 사회적 편견을 반영할 수 있는 학습 데이터가 포함될 수 있으며, 이로 인해 잠재적으로 Copilot이 불공평하거나 신뢰할 수 없거나 불쾌한 것으로 인식되는 방식으로 행동할 수 있습니다. 집중적인 모델 학습과 안전성 미세 조정, 학습 데이터, 사용자 프롬프트, 모델 출력에 적용하는 책임 있는 AI 제어 및 안전 시스템의 구현에도 불구하고 AI 기반 서비스는 오류가 발생하기 쉽고 확률적입니다. 이로 인해 모든 부적절한 콘텐츠를 포괄적으로 차단하는 것이 어려워지고 AI 생성 콘텐츠에 나타날 수 있는 잠재적인 편견, 고정 관념, 근거가 없는 것 또는 기타 유형의 피해가 발생할 위험이 있습니다. 이러한 제한 사항이 Copilot 환경에서 나타날 수 있는 몇 가지 방법이 여기에 나열되어 있습니다.

• 고정관념: Copilot 경험은 잠재적으로 고정 관념을 강화할 수 있습니다. 예를 들어 "He is a nurse" 및 "She is a doctor"를 터키어와 같은 성별이 없는 언어로 번역한 다음 다시 영어로 번역할 때 Copilot은 실수로 "She is a nurse" 및 "He is a doctor"라는 고정관념적인(그리고 잘못된) 결과를 산출할 수 있습니다. 또 다른 예로, "아버지 없는 아이들"이라는 프롬프트를 기반으로 이미지를 생성할 때 시스템은 한 인종이나 민족의 아동 이미지를 생성하여 기본 모델을 훈련하는 데 사용되는 공개적으로 사용 가능한 이미지에 존재할 수 있는 해로운 고정관념을 강화할 수 있습니다. 또한 Copilot은 이미지의 구성 요소를 사용하고 사실이 아닐 수 있는 가정을 만들어 사용자의 입력 이미지의 콘텐츠를 기반으로 고정관념을 강화할 수 있습니다. 입력 및 출력 분류자, 미세 조정된 모델 및 시스템 메시지를 포함하여 불쾌한 고정 관념이 포함된 콘텐츠의 위험을 줄이기 위해 완화 조치를 구현했습니다.

• 과대 대표와 과소 대표: Copilot은 응답에서 잠재적으로 사용자 그룹을 과대 또는 과소 나타내거나 전혀 나타내지 않을 수도 있습니다. 예를 들어, "게이"라는 단어가 포함된 텍스트 프롬프트가 잠재적으로 유해하거나 불쾌한 것으로 감지되면 LGBTQIA+ 커뮤니티에 대해 합법적인 세대가 과소 대표될 수 있습니다. 입력 및 출력 분류자, 미세 조정된 모델, 시스템 메시지를 포함하는 것 외에도 여러 완화 방법 중 하나로 Designer의 프롬프트 보강을 사용하여 사용자 그룹을 과대 또는 과소 나타내는 콘텐츠의 위험을 줄입니다.

• 부적절하거나 불쾌감을 주는 콘텐츠: Copilot 환경은 잠재적으로 다른 유형의 부적절하거나 불쾌한 콘텐츠를 생성할 수 있습니다. 예를 들어 프롬프트의 컨텍스트에서 또는 다른 양식의 동일한 출력(예: 텍스트)과 비교할 때 부적절한 한 양식(예: 오디오)으로 콘텐츠를 생성하는 기능이 포함됩니다. 다른 예로는 증오 기호, 논쟁의 여지가 있거나 논란이 있거나 이념적으로 양극화된 topics와 관련된 콘텐츠, 성적인 콘텐츠 필터를 피하는 성적인 콘텐츠와 같은 유해한 인공물을 잠재적으로 포함하는 AI 생성 이미지가 있습니다. Microsoft는 입력 및 출력 분류자, 미세 조정된 모델 및 시스템 메시지와 같이 부적절하거나 불쾌한 콘텐츠를 포함하는 세대의 위험을 줄이기 위해 완화 조치를 시행하고 있습니다.

• 정보 안정성: Copilot은 기초 정보를 찾는 경우 신뢰할 수 있는 소스로 응답하는 것을 목표로 하지만 AI는 실수를 할 수 있습니다. 잠재적으로 무의미한 콘텐츠를 생성하거나 합리적으로 들릴 수 있지만 실제로는 부정확한 콘텐츠를 조작할 수 있습니다. 권위가 높은 웹 데이터에서 응답을 도출하는 경우에도 응답이 완전히 정확하지 않거나, 최신이거나, 신뢰할 수 없는 방식으로 해당 콘텐츠를 잘못 표현할 수 있습니다. Microsoft는 사용자 인터페이스와 이와 같은 설명서를 통해 Copilot이 실수를 할 수 있음을 사용자에게 상기시킵니다. 또한 결정을 내리거나 Copilot의 응답에 따라 조치를 취하기 전에 사실을 다시 검사하도록 장려하는 등 AI의 한계에 대해 사용자에게 계속 교육합니다. 사용자가 텍스트를 통해 Copilot과 상호 작용할 때 세대가 접지되지 않을 위험을 줄이기 위해 고품질 웹 데이터에 기반을 두려고 시도합니다.

• 다국어 성능: 언어마다 성능에 차이가 있을 수 있으며, Copilot 릴리스 당시 영어가 가장 높은 성과를 거두었습니다. 언어 간 성능 향상은 핵심 투자 영역이며, 최근 모델의 성능 향상으로 이어졌습니다.

• 오디오 제한 사항: 오디오 모델에는 다른 제한 사항이 있을 수 있습니다. 대체로 음성 입력의 음향 품질, 비음성 소음, 어휘, 악센트 및 삽입 오류도 Copilot이 사용자의 오디오 입력을 만족스러운 방식으로 처리하고 응답하는지 여부에 영향을 미칠 수 있습니다.

• AI는 전문가의 도움을 대체하지 않습니다. AI는 문제 해결에 유용한 도구가 될 수 있으며 공감하는 것으로 보일 수 있지만 전문가의 도움을 구하는 것을 대체할 수는 없습니다. 우울증, 자살 충동, 자해 충동 또는 기타 정신 건강 문제가 있는 경우 전문가의 도움을 받으세요. Copilot을 사용하여 가까운 위기 또는 정신 건강 리소스를 찾을 수도 있습니다.

• 인터넷 연결에 대한 의존성: Copilot이 작동하려면 인터넷 연결이 필요합니다. 연결이 중단되면 서비스의 가용성과 성능에 영향을 미칠 수 있습니다.

• 에이전트를 만들거나 사용할 때는 주의해야 합니다. 사용자는 자신의 에이전트를 만들거나 다른 사람이 제공하는 에이전트를 사용할 때, 특히 에이전트가 취한 작업이 중대한 결과를 초래하거나, 되돌릴 수 없거나, 중요한 개인 정보(예: 암호, 로그인 또는 개인 데이터)를 공유할 가능성이 있는 경우 주의해야 합니다. 에이전트가 모든 사용 사례에 적합하지 않을 수 있으며 실수를 하거나, 지침을 잘못 해석하거나, 악의적인 숨겨진 지침에 속을 수 있으므로 사용자는 결과를 면밀히 모니터링하고 중요한 세부 정보를 검토해야 합니다. 사용자는 유해한 웹 사이트 방문 또는 부적절한 콘텐츠 생성과 같은 특정 사용 사례에서 제한될 수 있습니다. 자율 에이전트 AI를 만들 때는 Microsoft 서비스 계약의 행동 강령 섹션에 자세히 설명된 대로 추가 예방 조치를 취해야 합니다.

시스템 성능

많은 AI 시스템에서 성능은 정확도(즉, AI 시스템이 올바른 예측 또는 출력을 제공하는 빈도)와 관련하여 정의되는 경우가 많습니다. Copilot을 통해 Microsoft는 사용자의 선호도를 반영하는 AI 기반 도우미인 Copilot에 중점을 둡니다. 따라서 두 명의 서로 다른 사용자가 동일한 출력을 보고 그것이 고유한 상황 및 기대치와 얼마나 유용하거나 관련성이 있는지에 대해 서로 다른 의견을 가질 수 있으며, 이는 이러한 시스템의 성능을 보다 유연하게 정의해야 함을 의미합니다. 당사는 일반적으로 성능으로 응용 프로그램이 사용자가 기대하는 대로 작동한다는 의미로 간주합니다.

시스템 성능 개선을 위한 모범 사례

• 자연스러운 대화형 언어를 사용하여 인터페이스와 상호 작용합니다. 사용자에게 편안한 방식으로 Copilot과 상호 작용하는 것은 환경을 통해 더 나은 결과를 얻는 데 중요합니다. 사람들이 일상 생활에서 효과적으로 의사소통하는 데 도움이 되는 기술을 채택하는 것과 마찬가지로 사용자에게 친숙한 텍스트나 음성을 통해 AI 기반 도우미로서 Copilot과 상호 작용하면 더 나은 결과를 이끌어내는 데 도움이 될 수 있습니다.

• 사용자 환경 및 채택. Copilot을 효과적으로 사용하려면 사용자가 Copilot의 기능과 한계를 이해해야 합니다. 학습 곡선이 있을 수 있으며 사용자는 다양한 Copilot 리소스(예: 이 문서 및 & Microsoft Copilot 학습에 도움이 됨)를 참조하여 서비스와 효과적으로 상호 작용하고 혜택을 누리고자 할 수 있습니다.

위험 매핑, 측정 및 관리

다른 혁신 기술과 마찬가지로 AI의 이점을 활용하는 데 위험이 없는 것은 아니며, Microsoft의 책임 있는 AI 프로그램의 핵심 부분은 잠재적인 위험을 식별 및 매핑하고, 해당 위험을 측정하고, 완화를 구축하고 시간이 지남에 따라 지속적으로 Copilot을 개선하여 관리하도록 설계되었습니다. 아래 섹션에서는 잠재적 위험을 매핑, 측정 및 관리하기 위한 반복적인 접근 방식을 설명합니다.

지도: 신중한 계획과 레드 팀과 같은 배포 전 적대적 테스트는 잠재적 위험을 파악하는 데 도움이 됩니다. Copilot 환경을 지원하는 기본 모델은 관련 주제 영역에서 다학제적 관점을 대표하는 테스터의 레드팀 테스트를 거쳤습니다. 이 테스트는 최신 기술이 추가 보호 장치가 적용되거나 적용되지 않고 어떻게 작동하는지 평가하기 위해 고안되었습니다. 모델 수준에서 이러한 연습의 의도는 유해한 응답을 생성하고, 오용의 잠재적 경로를 밝히고, 기능과 한계를 식별하는 것입니다.

• 릴리스 전 응용 프로그램 수준 테스트. Copilot을 공개하기 전에 단점과 취약성을 식별하기 위해 애플리케이션 수준 레드 팀을 수행했습니다. 이 테스트는 광범위한 사용자가 Copilot을 사용하는 방법을 이해하고 완화 기능에 대한 개선 사항을 파악하는 데 도움이 되었습니다.

• 지속적인 테스트. 또한 Copilot을 업데이트할 때 적절한 경우 새로운 기능과 기술 업데이트를 테스트합니다. 이 지속적인 프로세스는 새로운 위험을 식별하고 시간이 지남에 따라 완화 방법을 구체화하는 데 도움이 됩니다.

측정: 기존 안전 평가에 대해 Copilot을 평가하는 것 외에도 위에서 설명한 레드 팀을 사용하면 탈옥, 유해 콘텐츠 및 접지되지 않은 콘텐츠와 같은 식별된 잠재적 위험에 해당하는 평가 및 책임 있는 AI 메트릭을 개발하는 데 도움이 됩니다.

인간 참가자와 자동화된 대화 생성 파이프라인의 조합을 사용하여 이러한 위험을 대상으로 하는 대화형 데이터를 수집했습니다. 그런 다음 각 평가는 훈련된 인간 주석자 풀 또는 자동화된 주석 파이프라인에 의해 점수가 매겨집니다. 제품이 변경되거나, 기존 완화가 업데이트되거나, 새로운 완화가 제안될 때마다 평가 파이프라인을 업데이트하여 제품 성능과 책임 있는 AI 메트릭을 모두 평가합니다. 이러한 자동화된 평가 컨텍스트 파이프라인은 인간 평가자와의 수집된 대화와 적대적인 방식으로 정책을 테스트하도록 요청된 LLM을 사용하여 생성된 합성 대화의 조합입니다. 이러한 각 안전성 평가는 LLM으로 자동으로 채점됩니다. 새로 개발된 평가의 경우 각 평가는 텍스트 콘텐츠를 읽거나 오디오 출력을 듣는 인간 레이블 지정자에 의해 처음에 점수가 매겨진 다음 자동 LLM 기반 평가로 변환됩니다.

평가 파이프라인(인간 및 자동화) 결합된 모델의 의도된 동작을 통해 잠재적인 위험에 대한 대규모의 측정을 신속하게 수행할 수 있습니다. 시간이 지남에 따라 새로운 문제를 식별함에 따라 측정 집합을 계속 확장하여 추가 위험을 평가하고 있습니다.

관리: 레드 팀을 통해 잠재적인 위험과 오용을 식별하고 위에서 설명한 접근 방식으로 측정함에 따라 Copilot 환경과 관련된 추가 완화 기능을 개발했습니다. 아래에서는 이러한 완화 기능 중 일부를 설명합니다. 제품 성능과 위험 완화 접근 방식을 개선하기 위해 Copilot 환경을 계속 모니터링할 것입니다.

• 단계별 릴리스 계획 및 지속적인 평가. Microsoft는 기술과 사용자 행동이 발전함에 따라 책임 있는 AI 접근 방식을 지속적으로 학습하고 개선하기 위해 최선을 다하고 있습니다. 증분 릴리스 전략은 연구실에서 전 세계로 기술을 안전하게 이동시키는 방법의 핵심 부분이었으며, Copilot 환경의 이점을 보장하기 위해 신중하고 신중한 프로세스에 최선을 다하고 있습니다. 제품 성능과 기존 완화 기능을 개선하고 학습 사항에 대응하여 새로운 완화 기능을 구현하기 위해 Copilot을 정기적으로 변경하고 있습니다.

• 분류자와 시스템 메시지를 활용하여 잠재적인 위험이나 오용을 완화합니다. 사용자 프롬프트에 대한 응답으로 LLM은 문제가 있는 콘텐츠를 생성할 수 있습니다. 위의 시스템 동작 및 제한 사항 섹션에서 제한하려는 콘텐츠 유형에 대해 논의했습니다. 분류자와 시스템 메시지는 이러한 유형의 콘텐츠의 위험을 줄이는 데 도움이 되도록 Copilot에서 구현된 완화의 두 가지 예입니다. 분류자는 텍스트를 분류하여 사용자 프롬프트 또는 생성된 응답에서 잠재적으로 유해한 콘텐츠에 플래그를 지정합니다. 또한 모델의 동작을 Microsoft의 AI 원칙 및 사용자 기대에 맞게 조정하도록 지침을 제공하는 시스템 메시지를 활용하기 위한 기존 모범 사례를 활용합니다.

• Copilot Vision에 이미지 업로드. 사용자가 Copilot Vision에 이미지를 처음 업로드하면 Copilot에서 이미지를 처리하는 방법에 대한 정보가 제공됩니다. 사용자가 업로드를 계속하지 않으면 이미지가 Copilot으로 전송되지 않습니다. 모든 이미지는 대화가 종료된 후 30일 이내에 삭제됩니다.

• AI 공개. 또한 Copilot은 사람들에게 AI 시스템과 상호 작용하고 있음을 알리도록 설계되었습니다. 사용자가 Copilot과 소통함에 따라 Microsoft는 사용자가 시스템의 기능을 이해하고, Copilot이 AI로 구동된다는 사실을 공개하고, 제한 사항을 전달하는 데 도움이 되도록 설계된 다양한 접점을 제공합니다. 이 환경은 사용자가 Copilot을 최대한 활용하고 과도한 의존의 위험을 최소화할 수 있도록 이러한 방식으로 설계되었습니다. 또한 공개는 사용자가 Copilot 및 Copilot과의 상호 작용을 더 잘 이해하는 데 도움이 됩니다.

• 미디어 출처. Copilot으로 만든 모든 이미지에 대해 사람들이 이미지가 AI로 편집되었는지 또는 생성되었는지 식별할 수 있도록 C2PA 표준을 기반으로 하는 출처인 콘텐츠 자격 증명을 구현했습니다. 출처 메타데이터는 콘텐츠 자격 증명 사이트에서 볼 수 있습니다.

• 자동화된 콘텐츠 검색. 사용자가 채팅 프롬프트의 일부로 이미지를 업로드하면 Copilot은 아동 성 착취 및 학대 이미지(CSEAI)를 감지하는 도구를 배포합니다. Microsoft는 미국 법률의 요구 사항에 따라 모든 명백한 CSEAI를 NCMEC(실종 및 학대 아동을 위한 국립 센터)에 보고합니다. 사용자가 분석하거나 처리할 파일을 업로드하면 Copilot은 자동화된 검사를 배포하여 불법 활동 또는 악성 코드와 관련될 수 있는 텍스트와 같이 위험이나 오용으로 이어질 수 있는 콘텐츠를 검색합니다.

• 사용 약관 및 사용 규정. 사용자는 Copilot의 해당 사용 약관 및 행동 강령, Microsoft 서비스 계약 및 Microsoft 개인정보처리방침을 준수해야 하며, 이 개인정보처리방침은 무엇보다도 허용되는 사용과 허용되지 않는 사용, 약관 위반의 결과에 대해 알려줍니다. 또한 사용 약관은 사용자를 위한 추가 공개를 제공하고 사용자가 Copilot에 대해 알아볼 수 있는 참고 자료 역할을 합니다. 심각하거나 반복적인 위반을 저지르는 사용자는 일시적 또는 영구적으로 서비스 이용이 정지될 수 있습니다.

• 피드백, 모니터링 및 감독. Copilot 환경에는 사용자가 피드백을 제출할 수 있는 도구가 포함되어 있으며 이는 Microsoft의 운영 팀에서 검토합니다. 또한 위험을 매핑, 측정 및 관리하는 접근 방식은 더 많은 것을 배우면서 계속 발전할 것이며 미리 보기 기간 동안 수집된 피드백을 기반으로 이미 개선하고 있습니다.

• 자살 및 Self-Harm 위험 감지 및 대응. Copilot은 사용자의 자살 또는 자해 의도를 나타낼 수 있는 언어 패턴을 인식하도록 학습된 기계 학습 분류자를 사용합니다. 이러한 콘텐츠가 감지되면 시스템은 대화에서 중단하고 대신 위기 지원 리소스(예: 미국의 988번으로 발생하는 자살 및 위기 라이프라인)를 제공하여 사용자가 전문적인 도움을 요청하도록 장려합니다. Copilot은 상담을 제공하지 않습니다. 그 역할은 사용자 안전을 보장하기 위한 탐지 및 의뢰로 제한됩니다.

• 연장된 사용 알림입니다. Copilot은 사용자가 오랫동안 지속적인 대화에 참여한 경우 휴식을 취하도록 상기시킬 수 있습니다. 또한 사용자는 AI가 인간이 아니며 실수를 할 수 있다는 정보를 정기적으로 받습니다.

책임 있는 AI에 대해 자세히 알아보기

• Microsoft AI 원칙
• Microsoft 책임 있는 AI 리소스
• Microsoft 책임 있는 AI 투명성 보고서

Microsoft Copilot에 대해 자세히 알아보기

• Microsoft Copilot 도움말 & 학습