Nota de Transparência do Microsoft Copilot

O que é uma Nota de Transparência?

Um sistema de IA inclui não apenas a tecnologia, mas também as pessoas que a usarão, as pessoas que serão afetadas por ela e o ambiente em que ela é implantada. As Notas de Transparência da Microsoft visam ajudá-lo a entender como funciona a tecnologia de IA por trás do Copilot, as escolhas que fizemos que influenciam o desempenho e o comportamento do sistema e a importância de pensar em todo o sistema, para que os usuários do Copilot possam assumir o controle de suas próprias experiências e entender as etapas que estamos tomando para fornecer um produto seguro e seguro.

As Notas de Transparência da Microsoft fazem parte de um esforço mais amplo da Microsoft para colocar nossos Princípios de IA em prática. Para saber mais, confira os Princípios de IA da Microsoft. 

O básico de Microsoft Copilot

Recursos

Limitações

Os modelos de linguagem, imagem e áudio que estão por baixo da experiência Copilot podem incluir dados de treinamento que podem refletir vieses sociais, o que, por sua vez, pode potencialmente fazer com que Copilot se comporte de maneiras percebidas como injustas, não confiáveis ou ofensivas. Apesar de nosso treinamento intensivo de modelo e ajuste de segurança, bem como a implementação dos controles de IA responsáveis e sistemas de segurança que colocamos em dados de treinamento, prompts de usuário e saídas de modelo, os serviços controlados por IA são falíveis e probabilísticos. Isso torna desafiador bloquear de forma abrangente todo o conteúdo inadequado, levando a riscos de que possíveis vieses, estereótipos, inserção ou outros tipos de danos que possam aparecer no conteúdo gerado por IA. Algumas das maneiras pelas quais essas limitações podem se manifestar na experiência copilot são listadas aqui. 

• Estereótipos: a experiência copiloto poderia potencialmente reforçar estereótipos. Por exemplo, ao traduzir "Ele é um enfermeiro" e "Ela é médica" em uma linguagem sem gênero como turco e depois voltar para o inglês, Copilot pode inadvertidamente produzir os resultados estereotipados (e incorretos) de "Ela é enfermeira" e "Ele é um médico". Outro exemplo é ao gerar uma imagem com base no prompt "Filhos sem Pai", o sistema poderia gerar imagens de crianças de apenas uma raça ou etnia, reforçando estereótipos prejudiciais que poderiam existir em imagens publicamente disponíveis usadas para treinar os modelos subjacentes. Copilot também pode reforçar estereótipos com base no conteúdo na imagem de entrada do usuário, confiando em componentes da imagem e fazendo suposições que podem não ser verdadeiras. Implementamos mitigações para reduzir o risco de conteúdo que contém estereótipos ofensivos, incluindo classificadores de entrada e saída, modelos ajustados e mensagens do sistema.

• Superrepresentação e sub-representação: Copilot poderia potencialmente substituir ou sub-representar grupos de pessoas, ou mesmo não representá-los em tudo, em suas respostas. Por exemplo, se as solicitações de texto que contêm a palavra "gay" forem detectadas como potencialmente prejudiciais ou ofensivas, isso poderá levar à sub-representação de gerações legítimas sobre a comunidade LGBTQIA+. Além de incluir classificadores de entrada e saída, modelos ajustados, bem como mensagens do sistema, usamos o enriquecimento de prompt em Designer como uma das várias mitigações para reduzir o risco de conteúdo que representa demais ou sub-representa grupos de pessoas.

• Conteúdo inadequado ou ofensivo: a experiência Copilot pode potencialmente produzir outros tipos de conteúdo inadequado ou ofensivo. Exemplos incluem a capacidade de gerar conteúdo em uma modalidade (por exemplo, áudio) que é inadequada no contexto de seu prompt ou quando comparada com a mesma saída em uma modalidade diferente (por exemplo, texto). Outros exemplos incluem imagens geradas por IA que potencialmente contêm artefatos prejudiciais, como símbolos de ódio, conteúdo relacionado a tópicos contestados, controversos ou ideologicamente polarizadores e conteúdo sexualmente carregado que evita filtros de conteúdo relacionados ao sexo. Colocamos em prática mitigações para reduzir o risco de gerações que contêm conteúdo inadequado ou ofensivo, como classificadores de entrada e saída, modelos ajustados e mensagens do sistema.

• Confiabilidade das informações: enquanto Copilot pretende responder com fontes confiáveis quando necessário, a IA pode cometer erros. Poderia potencialmente gerar conteúdo sem sentido ou fabricar conteúdo que possa parecer razoável, mas factualmente impreciso. Mesmo ao extrair respostas de dados Web de alta autoridade, as respostas podem deturpar esse conteúdo de uma maneira que pode não ser completamente precisa ou confiável. Lembramos aos usuários por meio da interface do usuário e em documentação como esta que Copilot pode cometer erros. Também continuamos a educar os usuários sobre as limitações da IA, como incentivá-los a marcar fatos antes de tomar decisões ou agir com base nas respostas de Copilot. Quando os usuários estiverem interagindo com Copilot por meio de texto, ele tentará se basear em dados Web de alta qualidade para reduzir o risco de que as gerações não estejam em primeiro plano.

• Desempenho multilíngue: pode haver variações no desempenho entre idiomas, com o inglês tendo o melhor desempenho no momento da liberação do Copilot atualizado. Melhorar o desempenho entre idiomas é uma área de investimento fundamental e modelos recentes levaram a um melhor desempenho.

• Limitações de áudio: os modelos de áudio podem introduzir outras limitações. Em termos gerais, a qualidade acústica da entrada de fala, ruído, vocabulário, sotaques e erros de inserção também pode afetar se Copilot processa e responde à entrada de áudio de um usuário de forma satisfatória. Além disso, como o usuário solicita ao usar o Copilot Voice não disparará pesquisas na Web, o Copilot pode não ser capaz de responder aos eventos atuais no modo de voz.

• Dependência da conectividade com a Internet: a experiência atualizada do Copilot depende da conectividade com a Internet para funcionar. Interrupções na conectividade podem ter um impacto na disponibilidade e no desempenho do serviço.

Desempenho do sistema

Em muitos sistemas de IA, o desempenho geralmente é definido em relação à precisão (ou seja, com que frequência o sistema de IA oferece uma previsão ou saída correta). Com o Copilot, estamos focados no Copilot como uma assistente com energia de IA que reflete as preferências do usuário. Portanto, dois usuários diferentes podem olhar para a mesma saída e ter opiniões diferentes sobre o quão útil ou relevante é para sua situação e expectativas exclusivas, o que significa que o desempenho desses sistemas deve ser definido com mais flexibilidade. Consideramos amplamente o desempenho para significar que o aplicativo é executado como os usuários esperam.

Mapeamento, medição e gerenciamento de riscos

Como outras tecnologias transformadoras, aproveitar os benefícios da IA não é livre de riscos e uma parte central do programa de IA Responsável da Microsoft é projetada para identificar e mapear riscos potenciais, medir esses riscos e gerenciá-los criando mitigações e melhorando continuamente o Copilot ao longo do tempo. Nas seções abaixo, descrevemos nossa abordagem iterativa para mapear, medir e gerenciar riscos potenciais.

Mapa: o planejamento cuidadoso e os testes adversários de pré-implantação, como o agrupamento vermelho, nos ajudam a mapear possíveis riscos. Os modelos subjacentes que alimentam a experiência Copilot passaram por testes em equipe vermelhos de testadores que representam perspectivas multidisciplinares em áreas de tópico relevantes. Este teste foi projetado para avaliar como a tecnologia mais recente funcionaria com e sem quaisquer proteções adicionais aplicadas a ela. A intenção desses exercícios no nível do modelo é produzir respostas prejudiciais, criar caminhos potenciais para uso indevido e identificar funcionalidades e limitações.

Antes de disponibilizar publicamente a experiência Copilot em uma versão prévia limitada, também realizamos o agrupamento vermelho no nível do aplicativo para avaliar o Copilot em busca de deficiências e vulnerabilidades. Esse processo nos ajudou a entender melhor como o sistema poderia ser utilizado por uma grande variedade de usuários e nos ajudou a melhorar nossas mitigações.

Medida: além de avaliar o Copilot em relação às nossas avaliações de segurança existentes, o uso do teaming vermelho descrito acima nos ajudou a desenvolver avaliações e métricas de IA responsáveis correspondentes a riscos potenciais identificados, como jailbreaks, conteúdo prejudicial e conteúdo não encalhado.

Coletamos dados conversacionais direcionados a esses riscos, usando uma combinação de participantes humanos e um pipeline de geração de conversa automatizada. Cada avaliação é pontuada por um pool de anotores humanos treinados ou por um pipeline de anotação automatizado. Sempre que o produto muda, mitigações existentes são atualizadas ou novas mitigações são propostas, atualizamos nossos pipelines de avaliação para avaliar o desempenho do produto e as métricas de IA responsáveis. Esses pipelines de contexto de avaliação automatizada são uma combinação de conversas coletadas com avaliadores humanos e conversas sintéticas geradas com LLMs solicitadas a testar políticas de forma adversária. Cada uma dessas avaliações de segurança é pontuada automaticamente com LLMs. Para as avaliações recém-desenvolvidas, cada avaliação é pontuada inicialmente por rotuladores humanos que leem o conteúdo do texto ou escutam a saída de áudio e depois convertidas em avaliações automáticas baseadas em LLM.

O comportamento pretendido de nossos modelos em combinação com nossos pipelines de avaliação , humanos e automatizados, nos permite executar rapidamente a medição de possíveis riscos em escala. À medida que identificamos novos problemas ao longo do tempo, continuamos a expandir os conjuntos de medidas para avaliar riscos adicionais. 

Gerenciar: à medida que identificamos riscos potenciais e uso indevido por meio da equipe vermelha e os medimos com as abordagens descritas acima, desenvolvemos mitigações adicionais específicas para a experiência copilot. Abaixo, descrevemos algumas dessas mitigações. Continuaremos monitorando a experiência copilot para melhorar o desempenho do produto e nossa abordagem de mitigação de riscos. 

• Planos de versão em fases e avaliação contínua.    Estamos comprometidos em aprender e melhorar nossa abordagem de IA responsável continuamente à medida que nossas tecnologias e comportamento do usuário evoluem. Nossa estratégia de lançamento incremental tem sido uma parte central de como movemos nossa tecnologia com segurança do laboratório para o mundo, e estamos comprometidos com um processo deliberado e atencioso para garantir os benefícios da experiência copilot. Estamos fazendo alterações no Copilot regularmente para melhorar o desempenho do produto e as mitigações existentes e implementar novas mitigações em resposta aos nossos aprendizados.

• Aproveitando classificadores e a mensagem do sistema para mitigar possíveis riscos ou uso indevido.    Em resposta aos prompts do usuário, as LLMs podem produzir conteúdo problemático. Discutimos tipos de conteúdo que tentamos limitar nas seções Comportamento e Limitações do Sistema acima. Classificadores e a mensagem do sistema são dois exemplos de mitigações que foram implementadas em Copilot para ajudar a reduzir o risco desses tipos de conteúdo. Os classificadores classificam o texto para sinalizar conteúdo potencialmente prejudicial em prompts de usuário ou respostas geradas. Também utilizamos as práticas recomendadas existentes para aproveitar a mensagem do sistema, que envolve dar instruções ao modelo para alinhar seu comportamento com os princípios de IA da Microsoft e com as expectativas do usuário.

• Consentimento para carregamentos de imagens copilot.    Na primeira vez que um utilizador carregar uma imagem com rostos para a Copilot, ser-lhe-á pedido que dê o seu consentimento para que os dados biométricos sejam carregados para o Copilot. Se um utilizador não optar ativamente por participar, a imagem não será enviada para o Copilot. Todas as imagens, independentemente de conterem ou não rostos, são eliminadas no prazo de 30 dias após o fim da conversação.

• Divulgação de IA.    O Copilot também foi concebido para informar as pessoas de que estão a interagir com um sistema de IA. À medida que os utilizadores interagem com a Copilot, oferecemos vários pontos táteis concebidos para ajudá-los a compreender as capacidades do sistema, divulgar-lhes que o Copilot tem tecnologia de IA e comunicar limitações. A experiência foi concebida desta forma para ajudar os utilizadores a tirar o máximo partido do Copilot e minimizar o risco de dependência excessiva. As divulgações também ajudam os utilizadores a compreender melhor o Copilot e as suas interações com o mesmo.

• Proveniência dos media.    Quando o Copilot gera uma imagem, ativemos uma funcionalidade "Credenciais de Conteúdo", que utiliza métodos criptográficos para marcar a origem, ou "proveniência", de todas as imagens geradas por IA criadas com o Copilot. Esta tecnologia utiliza normas definidas pela Coalition for Content and Authenticity (C2PA) para adicionar uma camada extra de confiança e transparência para imagens geradas por IA.

• Deteção de conteúdo automatizada.    Quando os utilizadores carregam imagens como parte do pedido de chat, a Copilot implementa ferramentas para detetar imagens de exploração sexual infantil e abuso (CSEAI). A Microsoft reporta todos os CSEAI aparentes ao Centro Nacional de Crianças Desaparecidas e Exploradas (NCMEC), conforme exigido pela lei norte-americana. Quando os utilizadores carregam ficheiros para analisar ou processar, a Copilot implementa a análise automatizada para detetar conteúdo que pode levar a riscos ou utilização indevida, como texto que pode estar relacionado com atividades ilegais ou código malicioso.

• Termos de Utilização e Código de Conduta.    Os utilizadores devem respeitar os Termos de Utilização e Código de Conduta aplicáveis da Copilot e o Contrato de Serviços Microsoft e a Declaração de Privacidade da Microsoft, que, entre outras coisas, os informa sobre utilizações permitidas e impermeáveis e as consequências de violar os termos. Os Termos de Utilização também fornecem divulgações adicionais para os utilizadores e servem como referência para os utilizadores saberem mais sobre o Copilot. Os utilizadores que cometem violações graves ou repetidas podem ser suspensos temporariamente ou permanentemente do serviço.

• Comentários, monitorização e supervisão.    A experiência Copilot baseia-se em ferramentas existentes que permitem aos utilizadores submeter feedback, que são revistos pelas equipas de operações da Microsoft. Além disso, a nossa abordagem de mapeamento, medição e gestão de riscos continuará a evoluir à medida que aprendemos mais e já estamos a fazer melhorias com base nos comentários recolhidos durante os períodos de pré-visualização.

• Detetar e Responder a Riscos de Suicídio e Self-Harm.    O Copilot utiliza classificadores de machine learning preparados para reconhecer padrões de linguagem que podem indicar o suicídio ou a intenção de auto-dano por parte do utilizador. Quando esses conteúdos são detetados, o sistema desvincula-se da conversação e, em vez disso, fornece uma linha de ajuda card com recursos de apoio a crises (por exemplo, a Linha de Vida suicida e de crise em 988 no Estados Unidos), incentivando os utilizadores a procurar ajuda profissional. Copilot não fornece aconselhamento; a sua função está limitada à deteção e referência para garantir a segurança do utilizador.

Saiba mais sobre a IA responsável

Relatório de Transparência de IA Responsável da Microsoft

Princípios de IA da Microsoft

Recursos de IA Responsáveis da Microsoft

Cursos do Microsoft Azure Learning em IA Responsável

Saiba mais sobre Microsoft Copilot

Perguntas Mais Frequentes Microsoft Copilot

Acerca deste documento

© 2024 Microsoft Corporation. Todos os direitos reservados. Este documento é fornecido "tal como está" e apenas para fins informativos. As informações e vistas expressas neste documento, incluindo o URL e outras referências de Web site da Internet, podem ser alteradas sem aviso prévio. Você assume o risco de usá-lo. Alguns exemplos são apenas para ilustração e são fictícios. Nenhuma associação real é pretendida ou inferida.

Este documento não se destina a ser e não deve ser interpretado como prestando aconselhamento jurídico. A jurisdição em que está a operar pode ter vários requisitos regulamentares ou legais que se aplicam ao seu sistema de IA. Consulte um especialista em direito se não tiver a certeza sobre leis ou regulamentos que possam aplicar-se ao seu sistema, especialmente se considerar que estas podem afetar estas recomendações. Tenha em atenção que nem todas estas recomendações e recursos serão adequados para todos os cenários e, por outro lado, estas recomendações e recursos podem ser insuficientes para alguns cenários.

Publicado em: 01/10/2024

Última atualização: 01/10/2024