Utilisation de Copilot Vision avec Microsoft Copilot

Microsoft Copilot Vision est une nouvelle façon de faire travailler l’IA avec vous lorsque vous utilisez votre PC Windows ou Mac, que vous naviguez sur le Web dans Microsoft Edge ou que vous visualisez le monde à partir de votre téléphone. Il agit comme une deuxième paire d’yeux qui peuvent scanner, analyser et offrir des informations basées sur ce que Copilot voit. Lorsque vous démarrez une session Copilot Vision, Copilot peut afficher l’écran, l’application, la page ou le flux de caméra mobile que vous choisissez de partager, puis utiliser Copilot Voice pour répondre aux questions et vous guider dans ce que vous voyez.

Remarque

Copilot Vision n’utilise pas les données de votre session Vision pour entraîner nos modèles. Les données de session peuvent être temporairement conservées pendant 47 heures maximum pour prendre en charge les commentaires soumis par les utilisateurs et sont automatiquement supprimées par la suite si aucun commentaire n’est envoyé. Une transcription de votre conversation avec Vision est enregistrée dans votre historique des conversations afin que vous puissiez la consulter plus tard. Votre historique des conversations n’est pas utilisé pour l’entraînement ou la personnalisation, et vous pouvez le supprimer à tout moment.

La disponibilité de Copilot Vision peut varier au cours du déploiement. Vision est disponible dans toutes les régions et langues prises en charge et est accessible à partir de Windows, de Edge et de l’application mobile Copilot sur iOS et Android. Vous devez vous abonner à Microsoft 365 Personnel, Famille ou Premium pour accéder à Copilot Vision.

Comment Copilot Vision gère-t-il vos données ?

Copilot Vision est activé uniquement lorsque vous démarrez une session Vision. Il gère vos données conformément à la Déclaration de confidentialité de Microsoft.

Lorsque vous utilisez Vision, les réponses de Copilot peuvent être enregistrées pour vous aider à surveiller les interactions et les sorties non sécurisées. Les entrées utilisateur, les images, l’audio et le contenu des pages partagées ne sont pas utilisés pour entraîner les modèles ou personnaliser votre expérience. Les données de session peuvent être temporairement conservées pendant 47 heures maximum pour prendre en charge les commentaires soumis par les utilisateurs et sont automatiquement supprimées par la suite si aucun commentaire n’est envoyé.

Vision n’interagit pas directement avec votre PC, le web ou votre téléphone en votre nom. Il est là pour répondre aux questions et vous guider, pas pour agir à votre place. Copilot Vision peut mettre en surbrillance des parties de l’écran pour vous aider à trouver des informations pertinentes, mais il ne clique pas, ne saisit pas de texte ou ne défile pas en votre nom.

La première fois que vous utilisez Vision dans Windows, macOS, Edge ou Copilot mobile, Copilot vous demande d’accepter un avis de confidentialité.

Vision est disponible pour les utilisateurs commerciaux connectés avec leur ID Entra dans les applications web et mobiles Copilot.

Utiliser Copilot Vision sur Windows

Copilot Vision vous permet de partager les fenêtres de navigateur ou les applications sélectionnées avec Copilot pendant une session active. Copilot peut répondre à vos questions sur ce que vous choisissez de partager et vous guider pas à pas.

Pendant qu’une session Vision est active, Copilot peut répondre à des questions sur l’application ou les fenêtres de navigateur que vous avez partagées, même si elles ne sont plus ouvertes devant vous. Lorsque la session Vision se termine, Copilot cesse immédiatement d’observer le contenu que vous avez partagé et le contexte partagé n’est plus disponible pour la session Vision active.

Copilot Vision fonctionne avec n’importe quelle application sur Windows. Toutefois, si le contenu comprend du matériel dangereux ou protégé par la DRM, Copilot ne peut pas l’analyser.

Pour utiliser Copilot Vision sur Windows :

  1. Démarrez un appel vocal dans Copilot. La vision est désactivée par défaut.
  2. Pour ajouter Vision à la session Voice, sélectionnez Partager l’écran.
  3. Sélectionnez l’écran ou l’application que vous souhaitez partager avec Copilot. Pendant que Copilot Vision est actif, vous verrez un contour autour de l’écran partagé ou de l’application. Vous pouvez partager jusqu’à deux applications à la fois.
  4. Assurez-vous que votre microphone et votre son sont activés. Copilot Vision utilise l’entrée et la sortie vocales pour répondre à des questions sur le contenu que vous partagez.
  5. Une barre d’outils flottante apparaît avec des contrôles Vision et Voix. Copilot vous accueille et vous pouvez commencer à poser des questions sur le contenu partagé.
  6. Pour désactiver votre micro, sélectionnez l’icône du microphone Icône du microphone . Cela empêche Copilot d’écouter. Sélectionnez à nouveau l’icône du microphone pour reprendre.
  7. Pour mettre fin à la session Vision, sélectionnez Arrêter dans la barre d’outils flottante. Lorsque la session se termine, Copilot cesse immédiatement d’observer le contenu partagé.

Utiliser Copilot Vision dans Edge

Copilot Vision fonctionne avec la plupart des sites et pages, à l’exception de ceux contenant du contenu dangereux ou pour adultes. Lorsque vous visitez un site non pris en charge par Copilot Vision, l’enregistreur Copilot en bas de l’écran affiche une icône grisée, et Copilot ne discute pas du contenu de la page.

Pour utiliser Copilot Vision dans Edge :

  1. Connectez-vous à Edge avec votre compte Microsoft personnel.
  2. Sélectionnez l’icône Copilot dans la barre d’outils Edge.
  3. Sélectionnez le bouton Voix (ondes) Bouton Ondes .
  4. Démarrez une session vocale avec Copilot.
  5. Sélectionnez Écran de partage pour ajouter Vision à la session Voice.
  6. Accédez à n’importe quel site web, vidéo ou fichier PDF pris en charge sur lequel vous souhaitez interroger Copilot. Lorsque vous utilisez Vision, une barre d’outils dans le volet latéral Copilot vous indique que votre session Vision est active. Vision vous accompagne lorsque vous naviguez de page en page jusqu’à ce que vous soyez prêt à mettre fin à la session.
  7. Posez des questions à Copilot sur la page ou le contenu que vous affichez.
  8. Pour arrêter la session, sélectionnez X dans la barre d’outils en bas de la fenêtre Copilot, fermez le volet latéral Copilot ou quittez Edge.

Utiliser Copilot Vision sur mobile

Remarque

Les fonctionnalités de Mobile Vision seront bientôt déployées. Mobile Vision et le partage d’écran étant progressivement activés sur les appareils iOS et Android, la disponibilité peut varier selon l’utilisateur au cours du déploiement.

Vous pouvez accéder à Copilot Vision dans l’application mobile Copilot sur les appareils iOS et Android. Copilot Vision répond aux questions en fonction de ce qu’il voit à travers l’appareil photo ou l’écran de votre appareil mobile.

Pour utiliser Copilot Vision sur mobile :

  1. Dans l’application mobile Copilot, démarrez une session vocale avec Copilot, puis sélectionnez Partager l’écran. Cette action démarre l’appareil photo de votre appareil mobile.
    • Vous devez autoriser l’application Copilot à accéder à la caméra de votre appareil photo pour utiliser cette fonctionnalité.
  2. Parlez à Copilot et posez des questions sur ce que vous voyez à travers la caméra ou sur votre écran. Copilot Vision reste activé jusqu’à ce que vous terminiez la session Vision.
  3. Pour mettre fin à la session Copilot Vision, sélectionnez X.