Como funciona a visão no Microsoft 365 Copilot

A Visão no Microsoft 365 Copilot permite-lhe partilhar o seu ecrã de ambiente de trabalho ou câmara móvel e perguntar ao Copilot o que está a ver, com respostas fundamentadas tanto no conteúdo partilhado como nos seus dados de trabalho. Para começar a utilizá-la, consulte Introdução à visão no Microsoft 365 Copilot.

Como funciona a visão?

A Visão transforma o que partilha em informações sobre as quais o Copilot pode raciocinar e, em seguida, combina-o com os seus dados de trabalho para responder em voz alta.

  • Partilha entradas visuais durante uma conversação por voz: o ecrã de ambiente de trabalho (no Windows ou na Web) ou a câmara móvel.
  • O Copilot converte o conteúdo partilhado do ecrã ou da câmara em dados que pode analisar, incluindo texto, imagens, gráficos e interfaces no ecrã.
  • A Copilot fundamenta a sua resposta ao combinar o que vê com os seus dados de trabalho do Microsoft 365, como documentos, e-mails e debates anteriores.
  • Copilot responde por voz em tempo real, para que possa fazer perguntas de seguimento na mesma conversação.

O que pode a visão fazer?

Eis algumas das coisas mais úteis que pode fazer com a visão:

  • Analise e explique o que está a ver. Peça ao Copilot para interpretar gráficos, tabelas, diapositivos ou texto denso. Por exemplo, "Resumir este dashboard e realçar quaisquer anomalias.".
  • Transforme o feedback em passos seguintes. Partilhe uma página de um documento, e-mail ou chat e pergunte: "Que feedback recebi sobre isto e quais são os meus próximos passos?".
  • Obtenha um projeto status atualização. Partilhe um controlador ou item de trabalho e pergunte: "Dê-me uma status rápida deste item, o proprietário atual e o marco seguinte.".
  • Obtenha ajuda passo a passo no contexto. Aponte a câmara do telemóvel para um erro de dispositivo e pergunte: "Como fazer corrigir este erro?".

Quais são as limitações da visão?

  • A visão só está disponível através de conversas de voz com o Copilot neste momento.
  • A utilização diária baseia-se na capacidade disponível e conta para a utilização diária de voz. Será notificado na aplicação Copilot à medida que se aproxima da utilização disponível.
  • A visão não consegue ler vídeos ou GIFs animados.
  • Alternar entre janelas demasiado rapidamente enquanto faz uma pergunta pode fazer com que o Copilot responda com base no conteúdo do ecrã errado.
  • A visão não pode tomar medidas ou manipular diretamente itens no ecrã.
  • A visão não tem revocação a longo prazo. Não reutiliza ecrãs nem entradas de câmara de sessões anteriores.

Observação

Estas são as capacidades no lançamento. As melhorias contínuas podem abordar algumas destas limitações ao longo do tempo.

A que visão tem acesso?

Durante uma sessão ativa, a Copilot processa o conteúdo do ecrã ou da câmara que escolhe partilhar, juntamente com os seus dados de trabalho do Microsoft 365 para fundamentar as suas respostas, tais como documentos, e-mails, reuniões e debates anteriores.

  • A entrada visual é iniciada pelo utilizador e vinculada à sessão, pelo que a Copilot só funciona com conteúdos partilhados durante a sessão ativa.
  • O conteúdo partilhado do ecrã ou da câmara é processado como uma série de imagens. Os dados de áudio e vídeo são armazenados temporariamente para fornecer feedback à Microsoft e são eliminados após 48 horas.
  • As transcrições de texto de conversações de voz são armazenadas e geridas da mesma forma que as conversações de texto na aplicação Microsoft 365 Copilot.
  • A Visão cumpre os compromissos de nível empresarial da Microsoft em relação à segurança e privacidade dos dados e não infere atributos pessoais confidenciais, como raça ou emoção.

Para obter mais informações, consulte Dados, Privacidade e Segurança para Microsoft 365 Copilot.

Que tipos de conteúdo são suportados?

A visão pode compreender uma variedade de conteúdos no ecrã e no mundo real, incluindo:

  • Texto, imagens, gráficos, tabelas e dashboards.
  • Interfaces de aplicações e fluxos de trabalho com várias janelas no ambiente de trabalho.
  • Objetos físicos vistos através da câmara móvel.

Que idiomas são suportados?

A visão está disponível em todos os idiomas suportados pelo Microsoft 365 Copilot. Alguns idiomas podem ser mais propensos a diferenças de pronúncia ou reconhecimento. Para obter a lista completa, consulte idiomas suportados para Microsoft 365 Copilot.

Como foram avaliadas as conversações de visão? Quais métricas são usadas para medir o desempenho?

Para garantir a qualidade, a Copilot recebe perguntas de teste e as respetivas respostas são avaliadas com base em critérios como relevância, correção, integridade, tom e cumprimento da instrução. Para medir melhor o desempenho, também revemos a utilização de funcionalidades, a taxa de atualização, a taxa de compromisso e o feedback dos utilizadores. Também realizamos uma vasta gama de avaliações de segurança que garantem que a visão responde de forma responsável a consultas prejudiciais.

Como fazer fornecer feedback sobre a visão no Copilot?

Pode fornecer feedback assim que terminar uma conversa por voz. Deverá ver um polegar para cima/baixo a aparecer no histórico de conversas que é partilhado com a Microsoft para melhorar as funcionalidades. Não utilizamos este feedback para preparar os modelos de base utilizados pela Copilot.

Mais formas de trabalhar com a visão no Copilot