Microsoft Copilot의 비전을 사용하면 데스크톱 화면 또는 모바일 카메라를 공유하고 공유 콘텐츠와 작업 데이터 모두에 기반한 답변을 사용하여 Copilot에게 현재 보고 있는 내용을 질문할 수 있습니다. 사용을 시작하려면 Microsoft Copilot의 비전 시작을 참조하세요.
시각은 어떻게 작동하나요?
비전은 사용자가 공유하는 내용을 Copilot이 추론할 수 있는 정보로 전환한 다음 이를 작업 데이터와 결합하여 큰 소리로 대답합니다.
- 음성 대화 중에 데스크톱 화면(Windows 또는 웹) 또는 모바일 카메라와 같은 시각적 입력을 공유합니다.
- Copilot은 공유된 화면 또는 카메라 콘텐츠를 텍스트, 이미지, 차트 및 화면 인터페이스를 포함하여 분석할 수 있는 데이터로 변환합니다.
- Copilot은 문서, 전자 메일 및 이전 토론과 같은 Microsoft 365 작업 데이터와 보고 있는 내용을 결합하여 응답을 기반으로 합니다.
- Copilot은 실시간으로 음성으로 답변하므로 동일한 대화에서 후속 질문을 할 수 있습니다.
시각은 무엇을 할 수 있나요?
다음은 시각으로 수행할 수 있는 가장 유용한 작업 중 몇 가지입니다.
- 보고 있는 항목을 분석하고 설명합니다. Copilot에게 차트, 표, 슬라이드 또는 조밀한 텍스트를 해석하도록 요청합니다. 예를 들어 "이 dashboard를 요약하고 변칙을 강조 표시합니다."
- 피드백을 다음 단계로 전환합니다. 문서, 전자 메일 또는 채팅의 페이지를 공유하고 "이 문제에 대해 어떤 피드백을 받았으며 다음 단계는 무엇입니까?"라고 물어보세요.
- 프로젝트 상태 업데이트를 받습니다. 추적기 또는 작업 항목을 공유하고 "이 항목, 현재 소유자 및 다음 마일스톤의 간략한 상태를 알려줘"라고 요청합니다.
- 상황에 맞는 단계별 도움말을 확인하세요. 휴대폰 카메라로 장치 오류를 가리키고 "이 오류를 어떻게 할까요?" 묻습니다.
시력의 한계는 무엇입니까?
- 비전은 현재 Copilot과의 음성 채팅을 통해서만 사용할 수 있습니다.
- 일일 사용량은 사용 가능한 용량을 기반으로 하며 일일 음성 사용량에 포함됩니다. 사용 가능한 사용량에 도달하면 Copilot 앱에서 알림을 받게 됩니다.
- 비전은 동영상이나 애니메이션 GIF를 읽을 수 없습니다.
- 질문하는 동안 창 사이를 너무 빠르게 전환하면 Copilot이 잘못된 화면 콘텐츠에 따라 응답할 수 있습니다.
- 비전은 작업을 수행하거나 화면의 항목을 직접 조작할 수 없습니다.
- 시력은 장기 회상이 없습니다. 이전 세션의 화면 또는 카메라 입력은 다시 사용하지 않습니다.
참고
출시 시 기능은 다음과 같습니다. 지속적인 개선을 통해 시간이 지남에 따라 이러한 제한 사항 중 일부를 해결할 수 있습니다.
비전은 무엇에 액세스할 수 있나요?
활성 세션 중에 Copilot은 공유하도록 선택한 화면 또는 카메라 콘텐츠와 Microsoft 365 작업 데이터를 처리하여 문서, 전자 메일, 모임 및 이전 토론과 같은 답변을 기반으로 합니다.
- 시각적 입력은 사용자가 시작하고 세션에 바인딩되므로 Copilot은 활성 세션 중에 공유되는 콘텐츠에서만 작동합니다.
- 공유 화면 또는 카메라 콘텐츠는 일련의 이미지로 처리됩니다. 오디오 및 비디오 데이터는 Microsoft에 피드백을 제공하기 위해 일시적으로 저장되며 48시간 후에 삭제됩니다.
- 음성 대화의 텍스트 대본은 Microsoft Copilot 앱의 텍스트 대화와 동일한 방식으로 저장 및 관리됩니다.
- 비전은 데이터 보안 및 개인 정보 보호에 대한 Microsoft의 엔터프라이즈급 약정을 준수하며 인종이나 감정과 같은 민감한 개인 속성을 유추하지 않습니다.
자세한 내용은 Microsoft Copilot에 대한 데이터, 개인 정보 및 보안을 참조하세요.
어떤 유형의 콘텐츠가 지원되나요?
비전은 다음을 포함하여 다양한 화면 및 실제 콘텐츠를 이해할 수 있습니다.
- 텍스트, 이미지, 차트, 표 및 대시보드.
- 데스크톱의 앱 인터페이스 및 다중 창 워크플로.
- 모바일 카메라를 통해 본 실제 개체.
어떤 언어가 지원되나요?
비전은 Microsoft Copilot에서 지원하는 모든 언어로 사용할 수 있습니다. 일부 언어는 발음이나 인식 차이가 발생하기 쉬울 수 있습니다. 전체 목록은 Microsoft Copilot에 지원되는 언어를 참조하세요.
시력 대화는 어떻게 평가되었나요? 성능을 측정하는 데 사용되는 메트릭은 무엇인가요?
품질을 보장하기 위해 Copilot에 테스트 질문이 제공되고 관련성, 정확성, 완전성, 톤 및 지침 준수와 같은 기준에 따라 응답이 평가됩니다. 또한 성능을 더 잘 측정하기 위해 기능 사용률, 좋아요, 참여율 및 사용자 피드백도 검토합니다. 또한 당사는 시력이 유해한 쿼리에 책임감 있는 방식으로 응답할 수 있도록 광범위한 안전 평가를 수행합니다.
Copilot의 시력에 대한 피드백을 어떻게 할까요?
음성 채팅을 종료한 후 피드백을 제공할 수 있습니다. 기능 개선을 위해 Microsoft와 공유되는 채팅 기록에 좋아요/싫어요가 표시됩니다. 이 피드백은 Copilot에서 사용하는 기본 모델을 학습하는 데 사용하지 않습니다.