Vision in Microsoft 365 Copilot consente di condividere lo schermo del desktop o la fotocamera del dispositivo mobile e chiedere a Copilot cosa si vede, con risposte fornite sia nel contenuto condiviso che nei dati di lavoro. Per iniziare a usarlo, vedi Introduzione alla visione in Microsoft 365 Copilot.
Come funziona la visione?
Vision trasforma ciò che condividi in informazioni su cui Copilot può ragionare, quindi le combina con i tuoi dati di lavoro per rispondere ad alta voce.
- Condividi l'input visivo durante una conversazione vocale: lo schermo del desktop (su Windows o sul Web) o la fotocamera del cellulare.
- Copilot converte il contenuto condiviso dello schermo o della fotocamera in dati che può analizzare, tra cui testo, immagini, grafici e interfacce su schermo.
- Copilot spiega la sua risposta combinando ciò che vede con i dati di lavoro di Microsoft 365, come documenti, e-mail e discussioni precedenti.
- Copilot risponde tramite voce in tempo reale, in modo da poter porre domande di follow-up nella stessa conversazione.
Cosa può fare la visione?
Ecco alcune delle operazioni più utili che puoi eseguire con la vista:
- Analizzare e spiegare quello che si sta guardando. Chiedere a Copilot di interpretare grafici, tabelle, diapositive o testo denso. Ad esempio, "Riepiloga questo dashboard ed evidenzia eventuali anomalie".
- Trasforma il feedback nei passaggi successivi. Condividere una pagina di un documento, un messaggio di posta elettronica o una chat e chiedere: "Quale feedback ho ricevuto su questo argomento e quali sono i prossimi passaggi?".
- Ottenere un aggiornamento dello stato del progetto. Condividi un tracker o un elemento di lavoro e chiedi"Fornisci rapidamente lo stato di questo elemento, il proprietario corrente e l'attività cardine successiva".
- Ottieni informazioni dettagliate e contestuali. Punta la fotocamera del telefono su un errore del dispositivo e chiedi "Ricerca per categorie correggere questo errore?"
Quali sono i limiti della visione?
- Al momento, Vision è disponibile solo tramite chat vocali con Copilot.
- L'uso quotidiano si basa sulla capacità disponibile e viene conteggiato per l'uso quotidiano della voce. Man mano che si avvicina l'utilizzo disponibile, si riceverà una notifica nell'app Copilot.
- Vision non riesce a leggere video o GIF animate.
- Se si passa troppo rapidamente da una finestra all'altra mentre si pone una domanda, Copilot potrebbe rispondere in base al contenuto errato dello schermo.
- Non è possibile eseguire azioni o manipolare direttamente gli elementi sullo schermo.
- La visione non ha un richiamo a lungo termine. Non riutilizza gli schermi o l'input della fotocamera delle sessioni precedenti.
Nota
Queste sono le funzionalità al momento del lancio. I miglioramenti in corso potrebbero risolvere alcune di queste limitazioni nel corso del tempo.
A cosa ha accesso la visione?
Durante una sessione attiva, Copilot elabora lo schermo o il contenuto della fotocamera che si sceglie di condividere, insieme ai dati di lavoro di Microsoft 365 per fornire le risposte, ad esempio documenti, messaggi di posta elettronica, riunioni e discussioni precedenti.
- L'input visivo è avviato dall'utente e associato alla sessione, quindi Copilot funziona solo con il contenuto condiviso durante la sessione attiva.
- Il contenuto condiviso dello schermo o della fotocamera viene elaborato come una serie di immagini. I dati audio e video vengono archiviati temporaneamente per consentire all'utente di fornire feedback a Microsoft e vengono eliminati dopo 48 ore.
- Le trascrizioni testuali delle conversazioni vocali vengono archiviate e gestite allo stesso modo delle conversazioni di testo nell'app Microsoft 365 Copilot.
- Vision aderisce agli impegni di livello aziendale di Microsoft in materia di sicurezza dei dati e privacy e non deduce attributi personali sensibili come la razza o le emozioni.
Per altre informazioni, vedere Dati, privacy e sicurezza per Microsoft 365 Copilot.
Quali tipi di contenuto sono supportati?
Vision può comprendere una vasta gamma di contenuti su schermo e reali, tra cui:
- Testo, immagini, grafici, tabelle e dashboard.
- Interfacce delle app e flussi di lavoro multi-finestra sul desktop.
- Oggetti fisici visualizzati tramite la fotocamera del cellulare.
Quali lingue sono supportate?
Vision è disponibile in tutte le lingue supportate da Microsoft 365 Copilot. Alcune lingue potrebbero essere più soggette a differenze di pronuncia o riconoscimento. Per l'elenco completo, vedere Lingue supportate per Microsoft 365 Copilot.
Come sono state valutate le conversazioni viovedenti? Quali metriche vengono usate per misurare le prestazioni?
Per garantire la qualità, a Copilot vengono poste domande di test e le relative risposte vengono valutate in base a criteri come pertinenza, correttezza, completezza, tono e adesione alle istruzioni. Per misurare meglio le prestazioni, esaminiamo anche l'utilizzo delle funzionalità, il tasso di pollice in su, il tasso di coinvolgimento e il feedback degli utenti. Conduciamo anche un'ampia gamma di valutazioni della sicurezza che assicurano che la vista risponda in modo responsabile alle query dannose.
Ricerca per categorie fornire feedback sulla visione in Copilot?
Puoi fornire feedback dopo aver terminato una chat vocale. Dovresti vedere un pollice in su/giù nella cronologia della chat, che viene condivisa con Microsoft per i miglioramenti delle funzionalità. Non usiamo questo feedback per formare i modelli di fondazione usati da Copilot.