Visione in Microsoft Copilot consente di condividere lo schermo del desktop o la fotocamera del dispositivo mobile e chiedere a Copilot ciò che si sta vedendo, con risposte basate sia sul contenuto condiviso che sui dati di lavoro. Per iniziare a usarlo, vedi Introduzione alla visione in Microsoft Copilot.
Come funziona la vista?
Visione trasforma ciò che condividi in informazioni su cui Copilot può ragionare, quindi le combina con i tuoi dati di lavoro per risponderti ad alta voce.
- L'input visivo viene condiviso durante una conversazione vocale: sullo schermo del desktop (in Windows o sul Web) o nella fotocamera del dispositivo mobile.
- Copilot converte il contenuto condiviso dello schermo o della fotocamera in dati che può analizzare, inclusi testo, immagini, grafici e interfacce sullo schermo.
- Copilot basa la sua risposta combinando ciò che vede con i dati aziendali di Microsoft 365, come documenti, messaggi di posta elettronica e discussioni precedenti.
- Copilot risponde con la voce in tempo reale, così da poter porre domande di completamento nella stessa conversazione.
Cosa può fare la vista?
Ecco alcune delle operazioni più utili che puoi eseguire con la vista:
- Analizza e spiega ciò che stai guardando. Chiedi a Copilot di interpretare grafici, tabelle, diapositive o testo denso. Ad esempio, "Riepiloga questo dashboard ed evidenzia eventuali anomalie".
- Trasforma il feedback nei passaggi successivi. Condividi una pagina di un documento, un messaggio di posta elettronica o una chat e chiedi: "Quale feedback ho ricevuto su questo argomento e quali sono i miei prossimi passi?"
- Ottieni un aggiornamento sullo stato del progetto. Condividi uno strumento di monitoraggio o un elemento di lavoro e chiedi: "Dammi un rapido stato di questo elemento, il proprietario corrente e la prossima attività cardine".
- Ottieni assistenza passo passo nel contesto. Punta la fotocamera del telefono su un errore del dispositivo e chiedi: "Ricerca per categorie correggere questo errore?"
Quali sono i limiti della vista?
- Al momento la visione è disponibile solo tramite chat vocali con Copilot.
- L'uso quotidiano si basa sulla capacità disponibile e viene conteggiato nell'uso giornaliero della voce. Riceverai una notifica nell'app Copilot man mano che ti avvicini all'utilizzo disponibile.
- Visione non riesce a leggere video o GIF animate.
- Passare da una finestra a un'altra troppo velocemente mentre si pone una domanda può indurre Copilot a rispondere in base al contenuto dello schermo errato.
- Visione non può intervenire o modificare direttamente gli elementi sullo schermo.
- La vista non ha ricordi a lungo termine. Non riutilizza gli schermi o l'input della fotocamera delle sessioni precedenti.
Nota
Queste sono le capacità al momento del lancio. I miglioramenti continui possono risolvere alcune di queste limitazioni nel tempo.
A cosa ha accesso la visione?
Durante una sessione attiva, Copilot elabora il contenuto dello schermo o della videocamera che scegli di condividere, insieme ai dati di lavoro di Microsoft 365 per fondare le sue risposte, come documenti, e-mail, riunioni e discussioni precedenti.
- L'input visivo viene avviato dall'utente e associato alla sessione, quindi Copilot funziona solo con il contenuto condiviso durante la sessione attiva.
- Il contenuto condiviso dello schermo o della fotocamera viene elaborato come una serie di immagini. I dati audio e video vengono archiviati temporaneamente per consentire all'utente di inviare feedback a Microsoft e vengono eliminati dopo 48 ore.
- Le trascrizioni di testo delle conversazioni vocali vengono archiviate e gestite allo stesso modo delle conversazioni di testo nell'app Microsoft Copilot.
- Vision rispetta gli impegni di Microsoft a livello aziendale in materia di sicurezza dei dati e privacy e non deduce attributi personali sensibili, come razza o emozioni.
Per altre informazioni, vedere Dati, privacy e sicurezza per Microsoft Copilot.
Quali tipi di contenuto sono supportati?
La vista è in grado di comprendere una gamma di contenuti sullo schermo e del mondo reale, tra cui:
- Testo, immagini, grafici, tabelle e dashboard.
- Interfacce app e flussi di lavoro multi-finestra sul desktop.
- Oggetti fisici visualizzati tramite la fotocamera del dispositivo mobile.
Quali lingue sono supportate?
Vision è disponibile in tutte le lingue supportate da Microsoft Copilot. Alcune lingue possono essere più soggette a differenze di pronuncia o di riconoscimento. Per l'elenco completo, consulta Lingue supportate per Microsoft Copilot.
Come sono state valutate le conversazioni sulla visione? Quali metriche vengono usate per misurare le prestazioni?
Per garantire la qualità, Copilot riceve domande di test e le relative risposte vengono valutate in base a criteri quali pertinenza, correttezza, completezza, tono e aderenza alle istruzioni. Per misurare meglio le prestazioni, esaminiamo anche l'utilizzo delle funzionalità, il tasso di pollice in su, il tasso di coinvolgimento e il feedback degli utenti. Conduciamo anche un'ampia gamma di valutazioni della sicurezza che garantiscono che la vista risponda in modo responsabile a domande dannose.
Ricerca per categorie come fornire feedback sulla vista in Copilot?
È possibile inviare feedback al termine di una chat vocale. Nella cronologia chat dovrebbe essere visualizzato un pollice in su/giù condiviso con Microsoft per migliorare le funzionalità. Questo feedback non viene usato per eseguire il training dei modelli di base usati da Copilot.