Microsoft 365 Copilotのビジョンを使用すると、デスクトップ画面またはモバイル カメラを共有し、共有コンテンツと作業データの両方に回答を示して、表示内容について Copilot に問い合わせられます。 使用を開始するには、「Microsoft 365 Copilotでのビジョンの概要」を参照してください。
ビジョンのしくみ
ビジョンは、あなたが共有するものを、Copilotが推論できる情報に変え、それを仕事データと組み合わせて大声で答えます。
- 音声会話中に視覚的な入力を共有します。デスクトップ画面 (Windows または Web 上) またはモバイル カメラ。
- Copilot は、共有画面またはカメラ コンテンツを、テキスト、画像、グラフ、画面上のインターフェイスなど、分析できるデータに変換します。
- Copilot は、ドキュメント、電子メール、以前のディスカッションなど、Microsoft 365 の作業データと表示される内容を組み合わせることによって、その応答を根拠としています。
- Copilot は音声による回答をリアルタイムで行い、同じ会話でフォローアップの質問をすることができます。
ビジョンは何ができますか?
ビジョンで実行できる最も便利な操作を次に示します。
- 見ている内容を分析して説明します。 グラフ、テーブル、スライド、または高密度テキストを解釈するように Copilot に依頼します。 たとえば、"このダッシュボードをまとめ、異常を強調表示します"。
- フィードバックを次の手順に変える。 ドキュメント、メール、チャットのページを共有し、「このページで受け取ったフィードバックと次の手順は何ですか?」
- プロジェクトの状態の更新プログラムを取得します。 トラッカーまたは作業項目を共有し、「このアイテム、現在の所有者、次のマイルストーンの簡単な状態を教えてください」と尋ねます。
- コンテキスト内の詳細なヘルプを取得します。 電話のカメラをデバイスエラーでポイントし、「このエラーを修正操作方法?」
ビジョンの制限事項は何ですか?
- Vision は、現時点では Copilot との音声チャットでのみ利用できます。
- 毎日の使用は、使用可能な容量と、毎日の音声使用量に対するカウントに基づいています。 利用可能な使用状況に近づくと、Copilot アプリに通知されます。
- Vision では、ビデオやアニメーション GIF を読み取ることはできません。
- 質問中にウィンドウをすばやく切り替えると、間違った画面コンテンツに基づいて Copilot が応答する可能性があります。
- ビジョンでは、操作を実行したり、画面上の項目を直接操作したりすることはできません。
- ビジョンには長期的なリコールはありません。 以前のセッションからの画面やカメラ入力は再利用されません。
注
これらは起動時の機能です。 継続的な改善は、時間の経過に伴うこれらの制限の一部に対処する可能性があります。
ビジョンは何にアクセスできますか?
アクティブなセッション中に、Copilot は、共有する画面またはカメラのコンテンツを Microsoft 365 の作業データと共に処理して、ドキュメント、メール、会議、以前のディスカッションなどの回答を得られます。
- ビジュアル入力はユーザーによって開始され、セッション バインドされるため、Copilot はアクティブなセッション中に共有されたコンテンツでのみ機能します。
- 共有画面またはカメラ コンテンツは、一連の画像として処理されます。 オーディオとビデオのデータは、Microsoft にフィードバックを提供するために一時的に保存され、48 時間後に削除されます。
- 音声会話からのテキスト トランスクリプトは、Microsoft 365 Copilot アプリのテキスト会話と同じ方法で保存および管理されます。
- Vision は、データのセキュリティとプライバシーに対する Microsoft のエンタープライズ レベルのコミットメントに準拠しており、人種や感情などの機密性の高い個人属性を推論しません。
詳細については、「Microsoft 365 Copilotのデータ、プライバシー、セキュリティ」を参照してください。
サポートされているコンテンツの種類は何ですか?
ビジョンは、以下を含むさまざまな画面上および現実世界のコンテンツを理解できます。
- テキスト、画像、グラフ、テーブル、ダッシュボード。
- デスクトップ上のアプリ インターフェイスとマルチウィンドウ ワークフロー。
- モバイル カメラを介して表示される物理オブジェクト。
サポートされている言語はどれですか?
Vision は、Microsoft 365 Copilotでサポートされているすべての言語で使用できます。 一部の言語では、発音や認識の違いが生じやすい場合があります。 完全な一覧については、「Microsoft 365 Copilotでサポートされている言語」を参照してください。
ビジョンの会話はどのように評価されましたか? パフォーマンスを測定するために使用されるメトリック
品質を確保するために、Copilot にはテストの質問が与えられ、その回答は関連性、正確性、完全性、トーン、指示の遵守などの基準に基づいて評価されます。 パフォーマンスをより適切に測定するために、機能の使用状況、サムアップ率、エンゲージメント率、ユーザー フィードバックも確認します。 また、有害なクエリに対して責任ある方法でビジョンが対応できるように、さまざまな安全性評価を実施しています。
Copilot のビジョンに関するフィードバックを提供操作方法?
音声チャットを終了したら、フィードバックを提供できます。 チャット履歴には、機能改善のために Microsoft と共有されているサムが上下に表示されます。 このフィードバックを使用して、Copilot で使用される基盤モデルをトレーニングすることはありません。