A Visão no Microsoft Copilot permite-lhe partilhar o ecrã do ambiente de trabalho ou a câmara do dispositivo móvel e perguntar ao Copilot sobre o que está a ver, com respostas baseadas no conteúdo partilhado e nos seus dados de trabalho. Para começar a utilizá-lo, consulte Introdução à visão no Microsoft Copilot.
Como funciona a visão?
A Visão transforma o que partilha em informações O Copilot pode raciocinar e, em seguida, combiná-las com os seus dados de trabalho para lhe responder em voz alta.
- Pode partilhar dados visuais durante uma conversação de voz: o ecrã do ambiente de trabalho (no Windows ou na Web) ou a câmara do seu dispositivo móvel.
- O Copilot converte o ecrã partilhado ou o conteúdo da câmara em dados que pode analisar, incluindo texto, imagens, gráficos e interfaces no ecrã.
- O Copilot fundamenta a sua resposta ao combinar o que vê com os seus dados de trabalho do Microsoft 365, como documentos, e-mails e debates anteriores.
- O Copilot responde por voz em tempo real, para que possa fazer perguntas de seguimento na mesma conversa.
O que pode fazer a visão?
Aqui estão algumas das coisas mais úteis que você pode fazer com a visão:
- Analise e explique o que você está vendo. Peça ao Copilot para interpretar gráficos, tabelas, diapositivos ou texto denso. Por exemplo, "Resume este dashboard e realça quaisquer anomalias."
- Transforme o feedback nos próximos passos. Partilhe uma página de um documento, e-mail ou chat e pergunte: "Que feedback recebi sobre isto e quais são os meus próximos passos?"
- Obtenha uma atualização do estado do projeto. Partilhe um controlador ou item de trabalho e pergunte: "Dê-me um estado rápido deste item, o proprietário atual e o marco seguinte".
- Obtenha ajuda passo-a-passo no contexto. Aponte a câmara do telemóvel para um erro de dispositivo e pergunte: "Como devo proceder para corrigir este erro?"
Quais são as limitações da visão?
- A Visão só está disponível através de conversas de voz com o Copilot neste momento.
- A utilização diária baseia-se na capacidade disponível e conta para a sua utilização diária da voz. Será notificado na aplicação Copilot à medida que se aproxima da sua utilização disponível.
- A Visão não consegue ler vídeos ou GIFs animados.
- Alternar entre janelas demasiado depressa ao fazer uma pergunta pode fazer com que o Copilot responda com base no conteúdo do ecrã errado.
- A Visão não consegue efetuar ações nem manipular diretamente itens no teu ecrã.
- A visão não tem recordação a longo prazo. Não reutiliza ecrãs ou entradas da câmara em sessões anteriores.
Nota
Estas são as capacidades no lançamento. As melhorias contínuas podem resolver algumas destas limitações ao longo do tempo.
A que a visão tem acesso?
Durante uma sessão ativa, o Copilot processa o conteúdo do ecrã ou da câmara que escolher partilhar, juntamente com os seus dados de trabalho do Microsoft 365 para fundamentar as respetivas respostas, como documentos, e-mails, reuniões e debates anteriores.
- A entrada visual é iniciada pelo utilizador e está associada à sessão, pelo que o Copilot só funciona com conteúdo partilhado durante a sessão ativa.
- O ecrã partilhado ou o conteúdo da câmara é processado como uma série de imagens. Os dados de áudio e vídeo são armazenados temporariamente para que possa fornecer feedback à Microsoft e são eliminados após 48 horas.
- As transcrições de texto de conversações de voz são armazenadas e geridas da mesma forma que as conversações de texto na aplicação Microsoft Copilot.
- A Visão segue os compromissos de nível empresarial da Microsoft em relação à segurança e privacidade de dados e não infere atributos pessoais confidenciais, como raça ou emoção.
Para obter mais informações, consulte Dados, privacidade e segurança para Microsoft Copilot.
Que tipos de conteúdo são suportados?
A Visão consegue compreender uma grande variedade de conteúdos no ecrã e no mundo real, incluindo:
- Texto, imagens, gráficos, tabelas e dashboards.
- Interfaces de aplicações e fluxos de trabalho com várias janelas no ambiente de trabalho.
- Objetos físicos visualizados através da câmara móvel.
Que idiomas são suportados?
A Visão está disponível em todos os idiomas suportados pelo Microsoft Copilot. Alguns idiomas podem ser mais propensos a diferenças de pronúncia ou reconhecimento. Para obter a lista completa, consulte Idiomas suportados para Microsoft Copilot.
Como as conversas de visão foram avaliadas? Que métricas são utilizadas para medir o desempenho?
Para garantir a qualidade, o Copilot recebe perguntas de teste e as respostas são avaliadas com base em critérios como relevância, correção, exaustividade, tom e adesão às instruções. Para medir melhor o desempenho, também analisamos a utilização de funcionalidades, a taxa de polegares, a taxa de interação e o feedback dos utilizadores. Também conduzimos uma ampla gama de avaliações de segurança que garantem que a visão responda de forma responsável a consultas prejudiciais.
Como devo proceder para fornecer comentários sobre a visão no Copilot?
Pode fornecer feedback assim que terminar um chat de voz. Deverá ver um polegar para cima/baixo no histórico de conversas que é partilhado com a Microsoft para melhorar as funcionalidades. Não utilizamos este feedback para treinar os modelos de base utilizados pelo Copilot.