Note de transparence pour Microsoft Copilot

Qu’est-ce qu’une note de transparence ?

Un système d’IA comprend non seulement la technologie, mais également les personnes qui l’utiliseront, les personnes qui seront affectées par elle et l’environnement dans lequel il est déployé. Les notes de transparence de Microsoft sont destinées à vous aider à comprendre le fonctionnement de la technologie d’IA derrière Copilot, les choix que nous avons faits qui influencent les performances et le comportement du système, et l’importance de penser à l’ensemble du système, afin que les utilisateurs de Copilot puissent prendre le contrôle de leurs propres expériences et comprendre les étapes que nous prenons pour fournir un produit sûr et sécurisé.

Les notes de transparence de Microsoft font partie d’un effort plus large de Microsoft visant à mettre en pratique nos principes d’IA. Pour en savoir plus, consultez les principes de Microsoft AI. 

Les principes de base de Microsoft Copilot

Fonctionnalités

Limites

Les modèles de langage, d’image et d’audio sous-plan de l’expérience Copilot peuvent inclure des données d’entraînement qui peuvent refléter des préjugés sociétaux, qui peuvent à leur tour amener Copilot à se comporter d’une manière perçue comme injuste, non fiable ou offensante. Malgré notre entraînement intensif du modèle et le réglage de la sécurité, ainsi que l’implémentation des contrôles IA responsables et des systèmes de sécurité que nous placeons sur les données d’entraînement, les invites utilisateur et les sorties de modèle, les services pilotés par l’IA sont faillibles et probabilistes. Il est donc difficile de bloquer complètement tout contenu inapproprié, ce qui entraîne des risques de biais potentiels, de stéréotypes, d’infondation ou d’autres types de dommages qui pourraient apparaître dans le contenu généré par l’IA. Certaines des façons dont ces limitations peuvent se manifester dans l’expérience Copilot sont répertoriées ici. 

• Stéréotypes : l’expérience Copilot pourrait potentiellement renforcer les stéréotypes. Par exemple, lors de la traduction de « C’est une infirmière » et de « Elle est médecin » dans une langue non genrée comme le turc, puis en anglais, Copilot peut donner par inadvertance les résultats stéréotypés (et incorrects) de « Elle est infirmière » et « Il est médecin ». Un autre exemple est que lors de la génération d’une image basée sur l’invite « Enfants sans père », le système peut générer des images d’enfants d’une seule race ou ethnicité, renforçant ainsi les stéréotypes nuisibles qui pourraient exister dans les images accessibles au public utilisées pour entraîner les modèles sous-jacents. Copilot peut également renforcer les stéréotypes basés sur le contenu de l’image d’entrée de l’utilisateur en s’appuyant sur des composants de l’image et en faisant des hypothèses qui peuvent ne pas être vraies. Nous avons implémenté des mesures d’atténuation pour réduire le risque de contenu contenant des stéréotypes offensants, notamment des classifieurs d’entrée et de sortie, des modèles affinés et des messages système.

• Surreprésentation et sous-représentation : Copilot pourrait éventuellement surreprésenter ou sous-représenter des groupes de personnes, ou même ne pas les représenter du tout, dans ses réponses. Par exemple, si des invites de texte contenant le mot « gay » sont détectées comme potentiellement dangereuses ou offensantes, cela peut entraîner la sous-représentation des générations légitimes au sujet de la communauté LGBTIA+. En plus d’inclure des classifieurs d’entrée et de sortie, des modèles affinés et des messages système, nous utilisons l’enrichissement rapide dans Designer comme l’une des nombreuses atténuations pour réduire le risque de contenu qui sur-représente ou sous-représente des groupes de personnes.

• Contenu inapproprié ou offensant : l’expérience Copilot peut potentiellement produire d’autres types de contenu inapproprié ou offensant. Par exemple, la possibilité de générer du contenu dans une même modalité (par exemple, audio) qui est inapproprié dans le contexte de son invite ou lorsqu’il est comparé à la même sortie dans une autre modalité (par exemple, du texte). D’autres exemples incluent des images générées par l’IA qui contiennent des artefacts potentiellement dangereux tels que des symboles de haine, du contenu qui se rapporte à des sujets contestés, controversés ou idéologiquement polarisants, et du contenu sexuellement chargé qui échappe aux filtres de contenu sexuel. Nous avons mis en place des mesures d’atténuation pour réduire le risque de générations qui contiennent du contenu inapproprié ou offensant, comme des classifieurs d’entrée et de sortie, des modèles affinés et des messages système.

• Fiabilité des informations : Alors que Copilot vise à répondre avec des sources fiables si nécessaire, l’IA peut faire des erreurs. Il peut potentiellement générer du contenu absurde ou fabriquer du contenu qui peut sembler raisonnable, mais qui est factuelment inexact. Même lorsque vous dessinez des réponses à partir de données web de haute autorité, les réponses peuvent fausser ce contenu d’une manière qui peut ne pas être complètement exacte ou fiable. Nous rappelons aux utilisateurs par le biais de l’interface utilisateur et dans une documentation comme celle-ci que Copilot peut faire des erreurs. Nous continuons également d’informer les utilisateurs sur les limitations de l’IA, par exemple en les encourageant à double case activée faits avant de prendre des décisions ou d’agir en fonction des réponses de Copilot. Lorsque les utilisateurs interagissent avec Copilot via du texte, celui-ci tente de se baser sur des données web de haute qualité afin de réduire le risque que les générations ne soient pas ancrées.

• Performances multilingues : les performances peuvent varier d’une langue à l’autre, l’anglais étant le plus performant au moment de la publication du Copilot mis à jour. L’amélioration des performances entre les langues est un domaine d’investissement clé, et les modèles récents ont permis d’améliorer les performances.

• Limitations audio : les modèles audio peuvent introduire d’autres limitations. De manière générale, la qualité acoustique de l’entrée vocale, du bruit non vocal, du vocabulaire, des accents et des erreurs d’insertion peut également affecter si Copilot traite et répond à l’entrée audio d’un utilisateur de manière satisfaisante. En outre, étant donné que les invites de l’utilisateur lors de l’utilisation de Copilot Voice ne déclenchent pas de recherches web, Copilot peut ne pas être en mesure de répondre aux événements actuels en mode vocal.

• Dépendance vis-à-vis de la connectivité Internet : l’expérience Copilot mise à jour s’appuie sur la connectivité Internet pour fonctionner. Les interruptions de connectivité peuvent avoir un impact sur la disponibilité et les performances du service.

Performances du système

Dans de nombreux systèmes IA, les performances sont souvent définies en fonction de la précision (c’est-à-dire la fréquence à laquelle le système IA offre une prédiction ou une sortie correcte). Avec Copilot, nous nous concentrons sur Copilot en tant que assistant basé sur l’IA qui reflète les préférences de l’utilisateur. Par conséquent, deux utilisateurs différents peuvent examiner la même sortie et avoir des opinions différentes sur son utilité ou sa pertinence par rapport à leur situation et à leurs attentes uniques, ce qui signifie que les performances de ces systèmes doivent être définies de manière plus flexible. Nous considérons généralement que les performances signifient que l’application fonctionne comme prévu par les utilisateurs.

Mappage, mesure et gestion des risques

Comme d’autres technologies de transformation, l’exploitation des avantages de l’IA n’est pas sans risque, et une partie essentielle du programme d’IA responsable de Microsoft est conçue pour identifier et mapper les risques potentiels, mesurer ces risques et les gérer en créant des atténuations et en améliorant continuellement Copilot au fil du temps. Dans les sections ci-dessous, nous décrivons notre approche itérative pour cartographier, mesurer et gérer les risques potentiels.

Carte : une planification minutieuse et des tests contradictoires préalables au déploiement, tels que l’association rouge, nous aident à mapper les risques potentiels. Les modèles sous-jacents qui alimentent l’expérience Copilot ont été testés en équipe rouge par des testeurs qui représentent des perspectives multidisciplinaires dans des domaines pertinents. Ce test a été conçu pour évaluer la façon dont la technologie la plus récente fonctionnerait avec et sans protection supplémentaire appliquée. L’objectif de ces exercices au niveau du modèle est de produire des réponses nuisibles, d’exposer des possibilités potentielles d’utilisation abusive et d’identifier les capacités et les limitations.

Avant de rendre l’expérience Copilot disponible publiquement dans une préversion limitée, nous avons également effectué des équipes rouges au niveau de l’application afin d’évaluer Copilot pour détecter les lacunes et les vulnérabilités. Ce processus nous a aidés à mieux comprendre comment le système pouvait être utilisé par un large éventail d’utilisateurs et nous a aidés à améliorer nos mesures d’atténuation.

Mesure : En plus d’évaluer Copilot par rapport à nos évaluations de sécurité existantes, l’utilisation de l’association rouge décrite ci-dessus nous a aidés à développer des évaluations et des métriques d’IA responsables correspondant aux risques potentiels identifiés, tels que les jailbreaks, le contenu nuisible et le contenu non basé.

Nous avons collecté des données de conversation ciblant ces risques, à l’aide d’une combinaison de participants humains et d’un pipeline de génération de conversation automatisé. Chaque évaluation est ensuite notée par un pool d’annotateurs humains formés ou par un pipeline d’annotation automatisé. Chaque fois que le produit change, que les atténuations existantes sont mises à jour ou que de nouvelles atténuations sont proposées, nous mettons à jour nos pipelines d’évaluation pour évaluer à la fois les performances du produit et les métriques d’IA responsable. Ces pipelines de contexte d’évaluation automatisés sont une combinaison de conversations collectées avec des évaluateurs humains et de conversations synthétiques générées avec des llms invités à tester les stratégies de manière contradictoire. Chacune de ces évaluations de sécurité est automatiquement notée avec des LPM. Pour les évaluations nouvellement développées, chaque évaluation est initialement notée par des étiqueteurs humains qui lisent le contenu du texte ou écoutent la sortie audio, puis converties en évaluations automatiques basées sur LLM.

Le comportement prévu de nos modèles en combinaison avec nos pipelines d’évaluation (à la fois humains et automatisés) nous permet d’effectuer rapidement des mesures pour les risques potentiels à grande échelle. À mesure que nous identifions de nouveaux problèmes au fil du temps, nous continuons à développer les ensembles de mesures pour évaluer les risques supplémentaires. 

Gérer : à mesure que nous avons identifié les risques potentiels et les mauvaises utilisations par le biais de l’association rouge et que nous les avons mesurés avec les approches décrites ci-dessus, nous avons développé des atténuations supplémentaires spécifiques à l’expérience Copilot. Ci-dessous, nous décrivons certaines de ces atténuations. Nous continuerons à surveiller l’expérience Copilot pour améliorer les performances des produits et notre approche d’atténuation des risques. 

• Plans de mise en production par phases et évaluation continue.    Nous nous engageons à apprendre et à améliorer continuellement notre approche d’IA responsable à mesure que nos technologies et que le comportement des utilisateurs évoluent. Notre stratégie de mise en production incrémentielle a été au cœur de la façon dont nous faisons passer notre technologie en toute sécurité du labo au monde, et nous nous engageons à mettre en place un processus délibéré et réfléchi pour garantir les avantages de l’expérience Copilot. Nous apportons régulièrement des modifications à Copilot pour améliorer les performances des produits et les atténuations existantes, et implémenter de nouvelles atténuations en réponse à nos apprentissages.

• Tirer parti des classifieurs et du message système pour atténuer les risques potentiels ou les mauvaises utilisations.    En réponse aux invites des utilisateurs, les llms peuvent produire du contenu problématique. Nous avons abordé les types de contenu que nous essayons de limiter dans les sections Comportement du système et Limitations ci-dessus. Les classifieurs et le message système sont deux exemples d’atténuations qui ont été implémentées dans Copilot pour aider à réduire le risque de ces types de contenu. Les classifieurs classent le texte pour signaler le contenu potentiellement dangereux dans les invites utilisateur ou les réponses générées. Nous utilisons également les meilleures pratiques existantes pour tirer parti du message système, ce qui implique de donner des instructions au modèle pour aligner son comportement sur les principes d’IA de Microsoft et sur les attentes des utilisateurs.

• Consentement aux chargements d’images Copilot.    La première fois qu’un utilisateur charge une image contenant des visages sur Copilot, il est invité à donner son consentement pour que ses données biométriques soient chargées sur Copilot. Si un utilisateur ne l’accepte pas, l’image n’est pas envoyée à Copilot. Toutes les images, qu’elles contiennent ou non des visages, sont supprimées dans les 30 jours suivant la fin de la conversation.

• Divulgation d’IA.    Copilot est également conçu pour informer les utilisateurs qu’ils interagissent avec un système IA. À mesure que les utilisateurs interagissent avec Copilot, nous proposons différents points de contact conçus pour les aider à comprendre les fonctionnalités du système, à leur révéler que Copilot est alimenté par l’IA et à communiquer des limitations. L’expérience est conçue de cette façon pour aider les utilisateurs à tirer le meilleur parti de Copilot et réduire le risque de dépendance excessive. Les divulgations aident également les utilisateurs à mieux comprendre Copilot et leurs interactions avec celui-ci.

• Provenance du média.    Lorsque Copilot génère une image, nous avons activé une fonctionnalité « Informations d’identification de contenu », qui utilise des méthodes de chiffrement pour marquer la source, ou « provenance », de toutes les images générées par l’IA créées à l’aide de Copilot. Cette technologie utilise les normes définies par la Coalition for Content and Authentic (C2PA) pour ajouter une couche supplémentaire de confiance et de transparence pour les images générées par l’IA.

• Détection de contenu automatisée.    Lorsque les utilisateurs chargent des images dans le cadre de leur invite de conversation, Copilot déploie des outils pour détecter les images d’exploitation et d’abus sexuels des enfants (CSEAI). Microsoft signale toutes les CSEAI apparentes au National Center for Missing and Exploited Children (NCMEC), comme l’exige la loi américaine. Lorsque les utilisateurs chargent des fichiers à analyser ou à traiter, Copilot déploie l’analyse automatisée pour détecter le contenu susceptible d’entraîner des risques ou une mauvaise utilisation, comme du texte pouvant être lié à des activités illégales ou à du code malveillant.

• Conditions d’utilisation et code de conduite.    Les utilisateurs doivent respecter les Conditions d’utilisation et le Code de conduite applicables du Contrat de services Microsoft de Copilot, ainsi que la Déclaration de confidentialité Microsoft, qui, entre autres choses, les informent des utilisations autorisées et non autorisées et des conséquences de la violation des conditions. Les conditions d’utilisation fournissent également des informations supplémentaires aux utilisateurs et servent de référence aux utilisateurs pour en savoir plus sur Copilot. Les utilisateurs qui commettent des violations graves ou répétées peuvent être temporairement ou définitivement suspendus du service.

• Commentaires, surveillance et supervision.    L’expérience Copilot s’appuie sur des outils existants qui permettent aux utilisateurs d’envoyer des commentaires, qui sont examinés par les équipes des opérations de Microsoft. En outre, notre approche de la cartographie, de la mesure et de la gestion des risques continuera d’évoluer à mesure que nous en apprenons davantage, et nous apportons déjà des améliorations en fonction des commentaires recueillis pendant les périodes de préversion.

En savoir plus sur l’IA responsable

Rapport sur la transparence de l’IA responsable Microsoft

Principes de Microsoft AI

Ressources d’IA responsable Microsoft

Cours Microsoft Azure Learning sur l’IA responsable

En savoir plus sur Microsoft Copilot

Microsoft Copilot questions fréquentes (FAQ)

À propos de ce document

© Microsoft Corporation 2024. Tous droits réservés. Ce document est fourni « tel quelle » et à titre d’information uniquement. Les informations et vues exprimées dans ce document, y compris l’URL et d’autres références de site Web Internet, peuvent changer sans préavis. Vous assumez tous les risques liés à son utilisation. Certains exemples sont à titre d’illustration uniquement et sont fictifs. Aucune association réelle n’est prévue ou déduite.

Ce document n’est pas destiné à être et ne doit pas être interprété comme fournissant des conseils juridiques. La juridiction dans laquelle vous travaillez peut avoir diverses exigences réglementaires ou légales qui s’appliquent à votre système d’IA. Consultez un spécialiste du droit si vous n’êtes pas certain des lois ou des réglementations qui peuvent s’appliquer à votre système, en particulier si vous pensez que celles-ci peuvent avoir une incidence sur ces recommandations. N’oubliez pas que toutes ces recommandations et ressources ne sont pas adaptées à tous les scénarios, et inversement, ces recommandations et ressources peuvent être insuffisantes pour certains scénarios.

Date de publication : 01/10/2024

Dernière mise à jour : 01/10/2024