Microsoft Copilot のビジョンのしくみ

Microsoft Copilot のビジョンを使用すると、デスクトップ画面またはモバイルカメラを共有し、共有コンテンツと作業データの両方に基づいた回答を使用して、表示されている内容について Copilot に質問できます。使い始めるには、「Microsoft Copilot でビジョンの使用を開始する」を参照してください。

視覚はどのように機能しますか?

ビジョンは、共有した情報を Copilot が推論できる情報に変換し、それを作業データと組み合わせて大きな声で答えます。

音声会話中に、デスクトップ画面 (Windows または Web) またはモバイルカメラで視覚入力を共有します。
Copilot は、共有画面やカメラのコンテンツを、テキスト、画像、グラフ、オンスクリーンインターフェイスなど、分析可能なデータに変換します。
Copilot は、ドキュメント、メール、以前のディスカッションなど、Microsoft 365 の作業データと表示内容を組み合わせることで、応答の根拠となります。
Copilot はリアルタイムで音声で回答するため、同じ会話でフォローアップの質問をすることができます。

視覚は何ができるのか?

視覚でできる最も便利なことのいくつかを次に示します。

自分が見ているものを分析して説明します。 グラフ、表、スライド、または密度の高いテキストの解釈を Copilot に依頼します。たとえば、「このダッシュボードを要約し、異常を強調表示してください」などです。
フィードバックを次のステップに変えます。 ドキュメント、電子メール、またはチャットのページを共有して、「これに関してどのようなフィードバックを受け取りましたか?次に何をしますか?」と尋ねます。
プロジェクトの状態の更新を取得します。 トラッカーまたは作業項目を共有して、「この項目の簡単な状態、現在の所有者、および次のマイルストーンを教えてください」と質問します。
コンテキストに基づいたステップバイステップのヘルプを表示します。 携帯電話のカメラでデバイスのエラーを向けて、"このエラーを解決する操作方法" と尋ねます。

視覚の限界は何ですか?

ビジョンは、現在 Copilot との音声チャットを通じてのみ利用できます。
1 日の使用量は使用可能な容量に基づいており、毎日の音声使用量にカウントされます。利用可能な使用量に近づくと、Copilot アプリに通知されます。
視覚ではビデオやアニメーション GIF を読み取ることができません。
質問中にウィンドウの切り替えが速すぎると、Copilot が間違った画面コンテンツに基づいて応答する可能性があります。
視覚では、アクションを実行したり、画面上の項目を直接操作したりすることはできません。
視力には長期的な想起はありません。以前のセッションの画面やカメラ入力は再利用されません。

注

これらは、リリース時の機能です。継続的な改善により、これらの制限の一部が時間の経過とともに対処される可能性があります。

視覚は何にアクセスできますか?

アクティブなセッション中、Copilot は、共有することを選択した画面またはカメラのコンテンツと、Microsoft 365 の作業データを処理して、ドキュメント、メール、会議、以前のディスカッションなどの回答の基礎となります。

ビジュアル入力はユーザーが開始し、セッションに制約されるため、Copilot はアクティブなセッション中に共有されたコンテンツでのみ機能します。
共有画面やカメラのコンテンツは、一連の画像として処理されます。オーディオとビデオデータは、Microsoft にフィードバックを提供するために一時的に保存され、48 時間後に削除されます。
音声会話からのテキストトランスクリプトは、Microsoft Copilot アプリのテキスト会話と同じ方法で保存および管理されます。
Vision は、データのセキュリティとプライバシーに対する Microsoft のエンタープライズレベルのコミットメントに準拠しており、人種や感情などの機密性の高い個人属性を推測しません。

詳細については、「Microsoft Copilot のデータ、プライバシー、セキュリティ」を参照してください。

どのような種類のコンテンツがサポート対象ですか?

視覚は、次のような画面上および現実世界のコンテンツの範囲を理解できます。

テキスト、画像、グラフ、テーブル、ダッシュボード。
デスクトップ上のアプリインターフェイスとマルチウィンドウワークフロー。
モバイルカメラで表示した物理オブジェクト。

どの言語がサポートされていますか?

ビジョンは、Microsoft Copilot でサポートされているすべての言語で利用できます。一部の言語では、発音や認識の違いが生じやすい場合があります。完全な一覧については、「Microsoft Copilot でサポートされている言語」を参照してください。

ビジョンの会話はどのように評価されましたか? パフォーマンスを測定するために使用されるメトリック

品質を保証するために、Copilot にはテスト用の質問が与えられ、その回答は関連性、正確性、完全性、トーン、指示順守などの基準に基づいて評価されます。パフォーマンスをより正確に測定するために、機能の使用状況、サムアップ率、エンゲージメント率、ユーザーフィードバックも確認します。また、有害な問い合わせに対して視力が責任ある方法で対応できるように、幅広い安全性評価を実施しています。

Copilot のビジョンに関するフィードバックを提供する操作方法

ボイスチャットを終了した後、フィードバックを提供できます。機能改善のために Microsoft と共有されるチャット履歴に、サムズアップ/サムズダウンが表示されます。このフィードバックは、Copilot で使用される基礎モデルのトレーニングには使用されません。