O que é o Microsoft 365 Copilot no Viva Pulse?
O Microsoft 365 Copilot no Viva Pulse usa a tecnologia LLM (modelo de linguagem grande) para gerar um resumo de um relatório do Viva Pulse usando os detalhes do relatório, como pontuações médias, seleções de opções de múltipla escolha e respostas de texto aberto. O resumo é incluído no email e nas notificações do Teams quando o relatório é gerado para que o autor do Pulse possa entender rapidamente seus resultados em alto nível. Os autores podem compartilhar o resumo com os membros de sua equipe, demonstrando reconhecimento das respostas e transparência.
Como é avaliado o desempenho do Copilot no Viva Pulse?
O desempenho do Copilot no Viva Pulse é avaliado usando estas métricas principais:
Precisão e Recall – essas métricas são cruciais para avaliar a qualidade de um resumo gerado pelo Copilot no Viva Pulse. A precisão quantifica quantos dos resumos gerados são relevantes, enquanto o recall determina quantos dos resumos relevantes foram recuperados.
Satisfação do usuário: para medir a satisfação do usuário, o feedback da pesquisa do usuário é coletado para avaliar o grau de satisfação dos usuários com os resumos gerados.
Generalização: para avaliar o quão bem os resultados são generalizados em diferentes casos de uso, o Copilot no Viva Pulse é testado em um conjunto diversificado de dados e tarefas. Isso envolve a avaliação do desempenho do sistema em uma variedade de cenários e domínios que não faziam parte dos dados de treinamento iniciais.
Para ajudar a medir o desempenho inicial, especialistas externos e testadores foram convidados a encontrar vulnerabilidades ou desvios no sistema. O sistema foi cuidadosamente testado usando as ferramentas de avaliação de IA do Azure da Microsoft, adicionando intencionalmente possíveis riscos e brechas de segurança para ver como ele lida com eles. Esse processo ajudou a identificar possíveis problemas e melhorar a robustez do sistema. O processo de avaliação está em andamento, com atualizações e melhorias contínuas com base nos comentários dos usuários para garantir a precisão, a imparcialidade e a generalização do Copilot no Viva Pulse.
Quais são as limitações do Copilot no Viva Pulse? Como os usuários podem minimizar o impacto dessas limitações ao usar o sistema?
O modelo subjacente que alimenta o resumo do relatório do Copilot no Viva Pulse é treinado usando o modelo GPT-4o. Uma limitação é que ele pode não fornecer um resumo de relatório relevante se o relatório contiver respostas ilegíveis ou ilegíveis. Para mitigar esse problema, certifique-se de que as respostas da pesquisa sejam claramente escritas e compreensíveis.
Quais fatores operacionais e configurações permitem o uso eficaz e responsável do Copilot no Viva Pulse?
O Copilot no Pulse foi projetado com um sistema de filtro robusto que bloqueia proativamente a linguagem ofensiva e impede a geração de sugestões em contextos confidenciais. Ele é continuamente aprimorado para detectar, abordar e remover conteúdo ofensivo gerado pelo Copilot no Viva Pulse, incluindo saídas polares, discriminatórias ou abusivas.
Você é incentivado a relatar quaisquer sugestões ofensivas encontradas ao usar o Copilot no Viva Pulse.
Saiba mais:
Exibir e compartilhar seus resultados de comentários do Pulse
Resumo de relatório usando o Copilot no Viva Pulse
Controles de acesso granulares para Viva Pulse (para administradores)