Visión en Microsoft Copilot le permite compartir la pantalla del escritorio o la cámara del móvil y preguntar a Copilot sobre lo que está viendo, con respuestas basadas tanto en el contenido compartido como en los datos de trabajo. Para empezar a usarlo, consulte Introducción a la visión en Microsoft Copilot.
¿Cómo funciona la visión?
Vision convierte lo que compartes en información sobre la que Copilot puede razonar y, a continuación, la combina con tus datos de trabajo para responderte en voz alta.
- Comparte la entrada visual durante una conversación de voz: la pantalla del escritorio (en Windows o en la web) o la cámara del móvil.
- Copilot convierte la pantalla compartida o el contenido de la cámara en datos que puede analizar, como texto, imágenes, gráficos e interfaces en pantalla.
- Copilot fundamenta su respuesta combinando lo que ve con sus datos de trabajo de Microsoft 365, como documentos, correos electrónicos y discusiones anteriores.
- Copilot responde por voz en tiempo real, por lo que puede formular preguntas de seguimiento en la misma conversación.
¿Qué puede hacer la visión?
Estas son algunas de las cosas más útiles que puede hacer con la visión:
- Analiza y explica lo que estás viendo. Pida a Copilot que interprete gráficos, tablas, diapositivas o texto denso. Por ejemplo, "Resumir este panel y resaltar cualquier anomalía".
- Convierta los comentarios en pasos siguientes. Comparta una página de un documento, correo electrónico o chat y pregunte: "¿Qué comentarios recibí sobre esto y cuáles son mis próximos pasos?"
- Obtener una actualización del estado del proyecto. Comparta un rastreador o un elemento de trabajo y pregunte: "Dame un estado rápido de este elemento, el propietario actual y el siguiente hito".
- Obtenga ayuda en contexto, paso a paso. Apunta la cámara del teléfono a un error de dispositivo y pregunta: "¿Cómo soluciono este error?"
¿Cuáles son las limitaciones de la visión?
- La visión solo está disponible a través de chats de voz con Copilot en este momento.
- El uso diario se basa en la capacidad disponible y cuenta para tu uso diario de voz. Se le notificará en la aplicación Copilot a medida que se acerque al uso disponible.
- Vision no puede leer vídeos ni GIF animados.
- Cambiar de ventana demasiado rápido mientras se formula una pregunta puede hacer que Copilot responda basándose en el contenido incorrecto de la pantalla.
- Vision no puede realizar acciones ni manipular directamente los elementos de la pantalla.
- La visión no tiene recuerdos a largo plazo. No reutiliza las pantallas ni la entrada de cámara de sesiones anteriores.
Nota
Estas son las funcionalidades en el lanzamiento. Las mejoras continuas pueden solucionar algunas de estas limitaciones con el tiempo.
¿A qué tiene acceso la visión?
Durante una sesión activa, Copilot procesa el contenido de la pantalla o cámara que decida compartir, junto con los datos de trabajo de Microsoft 365 para fundamentar sus respuestas, como documentos, correos electrónicos, reuniones y discusiones anteriores.
- La entrada visual es iniciada por el usuario y enlazada a la sesión, por lo que Copilot solo funciona con contenido compartido durante la sesión activa.
- El contenido de la pantalla o cámara compartida se procesa como una serie de imágenes. Los datos de audio y vídeo se almacenan temporalmente para que pueda proporcionar comentarios a Microsoft y se eliminan después de 48 horas.
- Las transcripciones de texto de las conversaciones de voz se almacenan y administran de la misma manera que las conversaciones de texto en la aplicación Microsoft Copilot.
- Vision se adhiere a los compromisos de nivel empresarial de Microsoft con la seguridad y la privacidad de los datos, y no infiere atributos personales confidenciales como la raza o la emoción.
Para obtener más información, consulte Datos, privacidad y seguridad para Microsoft Copilot.
¿Qué tipos de contenido son compatibles?
Vision puede comprender una variedad de contenido en pantalla y del mundo real, que incluye:
- Texto, imágenes, gráficos, tablas y paneles.
- Interfaces de aplicaciones y flujos de trabajo de varias ventanas en el escritorio.
- Objetos físicos vistos a través de la cámara del móvil.
¿Qué idiomas se admiten?
Vision está disponible en todos los idiomas admitidos por Microsoft Copilot. Algunos idiomas pueden ser más propensos a las diferencias de pronunciación o reconocimiento. Para obtener la lista completa, consulte Idiomas admitidos para Microsoft Copilot.
¿Cómo se evaluaron las conversaciones sobre la visión? ¿Qué métricas se usan para medir el rendimiento?
Para garantizar la calidad, a Copilot se le dan preguntas de prueba y sus respuestas se evalúan en función de criterios como la relevancia, la corrección, la integridad, el tono y el cumplimiento de la instrucción. Para medir mejor el rendimiento, también revisamos el uso de características, la tasa de pulgar arriba, la tasa de participación y los comentarios de los usuarios. También llevamos a cabo una amplia gama de evaluaciones de seguridad que garantizan que la visión responda de manera responsable a las consultas perjudiciales.
¿Cómo puedo enviar comentarios sobre la visión en Copilot?
Puedes proporcionar comentarios cuando finalices un chat de voz. Debería ver aparecer un pulgar hacia arriba o hacia abajo en su historial de chat que se comparte con Microsoft para mejorar las características. No usamos estos comentarios para entrenar los modelos de base utilizados por Copilot.