Vision dans Microsoft 365 Copilot vous permet de partager votre écran de bureau ou votre caméra mobile et de demander à Copilot ce que vous voyez, avec des réponses ancrées à la fois dans le contenu partagé et vos données professionnelles. Pour commencer à l’utiliser, consultez Prise en main de la vision dans Microsoft 365 Copilot.
Comment fonctionne la vision ?
Vision transforme ce que vous partagez en informations que Copilot peut raisonner, puis les combine avec vos données de travail pour vous répondre à haute voix.
- Vous partagez des entrées visuelles pendant une conversation vocale : votre écran de bureau (sur Windows ou sur le web) ou votre appareil photo mobile.
- Copilot convertit le contenu de l’écran partagé ou de la caméra en données qu’il peut analyser, notamment du texte, des images, des graphiques et des interfaces à l’écran.
- Copilot base sa réponse en combinant ce qu’il voit avec vos données de travail Microsoft 365, telles que des documents, des e-mails et des discussions antérieures.
- Copilot répond par la voix en temps réel, afin que vous puissiez poser des questions de suivi dans la même conversation.
Que peut faire la vision ?
Voici quelques-unes des choses les plus utiles que vous pouvez faire avec la vision :
- Analysez et expliquez ce que vous regardez. Demandez à Copilot d’interpréter des graphiques, des tableaux, des diapositives ou du texte dense. Par exemple, « Résumer ce tableau de bord et mettre en surbrillance les anomalies . »
- Transformez les commentaires en étapes suivantes. Partagez une page d’un document, d’un e-mail ou d’une conversation et posez la question suivante : « Quels commentaires ai-je reçus à ce sujet et quelles sont mes prochaines étapes ? »
- Obtenir une mise à jour status projet. Partagez un suivi ou un élément de travail et demandez : « Donnez-moi un status rapide de cet élément, le propriétaire actuel et le prochain jalon. »
- Obtenez une aide détaillée dans le contexte. Pointez la caméra de votre téléphone sur une erreur d’appareil et demandez : « Comment faire corriger cette erreur ? »
Quelles sont les limitations de la vision ?
- Vision n’est disponible que par le biais de conversations vocales avec Copilot pour le moment.
- L’utilisation quotidienne est basée sur la capacité disponible et compte pour votre utilisation vocale quotidienne. Vous serez averti dans l’application Copilot à mesure que vous approchez de votre utilisation disponible.
- Vision ne peut pas lire les vidéos ou les gif animés.
- Basculer entre les fenêtres trop rapidement lors de la pose d’une question peut amener Copilot à répondre en fonction du contenu de l’écran incorrect.
- Vision ne peut pas effectuer d’action ou manipuler directement des éléments sur votre écran.
- La vision n’a pas de rappel à long terme. Il ne réutilise pas les écrans ou les entrées de caméra des sessions précédentes.
Remarque
Il s’agit des fonctionnalités au lancement. Les améliorations continues peuvent résoudre certaines de ces limitations au fil du temps.
À quoi la vision a-t-elle accès ?
Pendant une session active, Copilot traite le contenu de l’écran ou de la caméra que vous choisissez de partager, ainsi que vos données de travail Microsoft 365 pour ancrer ses réponses, telles que des documents, des e-mails, des réunions et des discussions antérieures.
- L’entrée visuelle est initiée par l’utilisateur et liée à la session. Copilot fonctionne donc uniquement avec le contenu partagé pendant la session active.
- Le contenu de l’écran partagé ou de l’appareil photo est traité comme une série d’images. Les données audio et vidéo sont stockées temporairement pour vous permettre de fournir des commentaires à Microsoft et sont supprimées après 48 heures.
- Les transcriptions de texte des conversations vocales sont stockées et gérées de la même façon que les conversations textuelles dans l’application Microsoft 365 Copilot.
- Vision respecte les engagements de Microsoft en matière de sécurité et de confidentialité des données, et n’déduit pas d’attributs personnels sensibles tels que la race ou l’émotion.
Pour plus d’informations, consultez Données, confidentialité et sécurité pour Microsoft 365 Copilot.
Quels types de contenu sont pris en charge ?
Vision peut comprendre une gamme de contenu à l’écran et réel, notamment :
- Texte, images, graphiques, tableaux et tableaux de bord.
- Interfaces d’application et workflows multi-fenêtres sur le bureau.
- Objets physiques vus via votre appareil photo mobile.
Quelles langues sont prises en charge ?
Vision est disponible dans toutes les langues prises en charge par Microsoft 365 Copilot. Certaines langues peuvent être plus sujettes aux différences de prononciation ou de reconnaissance. Pour obtenir la liste complète, consultez Langues prises en charge pour Microsoft 365 Copilot.
Comment les conversations sur la vision ont-elles été évaluées ? Quelles métriques sont utilisées pour mesurer les performances ?
Pour garantir la qualité, Copilot reçoit des questions de test et ses réponses sont évaluées en fonction de critères tels que la pertinence, l’exactitude, l’exhaustivité, le ton et l’adhésion aux instructions. Pour mieux mesurer les performances, nous examinons également l’utilisation des fonctionnalités, le taux de pouce vers le haut, le taux d’engagement et les commentaires des utilisateurs. Nous effectuons également un large éventail d’évaluations de sécurité qui garantissent que la vision répond de manière responsable aux requêtes nuisibles.
Comment faire fournir des commentaires sur la vision dans Copilot ?
Vous pouvez fournir des commentaires une fois que vous avez terminé une conversation vocale. Vous devriez voir un pouce haut/bas apparaître dans votre historique de conversation qui est partagé avec Microsoft pour améliorer les fonctionnalités. Nous n’utilisons pas ces commentaires pour entraîner les modèles de base utilisés par Copilot.