Часто задаваемые вопросы о расширенных описаниях изображений

Что такое полнофункционированные описания изображений?

Расширенные описания изображений предоставляют подробные описания визуального содержимого, например изображений, диаграмм, диаграмм, диаграмм, схем, кнопок без меток и многого другого. Подробные описания изображений позволяют незрячим или слабовидящим пользователям понимать визуальное содержимое с помощью подробного контекста. Эта функция в настоящее время доступна на компьютерах Copilot+ на платформе Snapdragon в рамках программы предварительной оценки Windows. Другие устройства Windows по-прежнему будут использовать стандартный интерфейс описания образа, который зависит исключительно от веб-службы.

Как работают полнофункционированные описания изображений?

Функция полнофункциональных описаний изображений использует модели ИИ для предоставления подробных текстовых описаний изображений, диаграмм и графиков.  

Например, созданное описание изображения питомника будет следующим:

На изображении изображено большое организованное расположение мелких зеленых листовых растений, которые, вероятно, являются ростками или саженцы, расположенными в аккуратном плотном шаблоне сетки. Каждое растение содержится в небольшом мелком черном контейнере, предлагая питомник или установку посадки. Растения равномерно расставляются, создавая единообразный и упорядоченный внешний вид, который может символизировать рост организации или коллекции. Черные контейнеры обеспечивают резкий контраст с зелеными ростками, подчеркивая акцент на растениях.

Чтобы создать полнофункционированные описания изображений в экранном дикторе, выполните приведенные ниже действия.

Когда экранный диктор включен, вы можете нажать клавишу +ЭКРАННОГО ДИКТОРАCTRL + D, чтобы получить описание изображения или элемента, на который вы сосредоточены.  

Чтобы создать полнофункционированные описания изображений в click to Do, выполните приведенные ниже действия.

Чтобы ввести Click to Do,нажмите кнопку мышиWindows+ или клавишу Windows+Q и выберите действие Описать изображение при фокусе на изображении или элементе. Вы также можете ввести click to Do с помощью прокрутки вправо на компьютерах с поддержкой сенсорного ввода или в меню Ножницы, если установлено средство ножницы.  

Для чего можно использовать расширенные описания изображений?

Расширенные описания изображений предназначены для предоставления текстовых описаний визуального содержимого для лиц, которые слепы или имеют слабое зрение. Описания предназначены для улучшения понимания изображений, диаграмм и графиков, а также для поддержки специальных возможностей. Вы можете повторно создать описание изображения и скопировать его для дальнейшего использования.

Как оценивалась функция расширенных описаний изображений? Какие показатели используются для оценки эффективности?

Чтобы обеспечить качество создаваемых описаний, был создан набор данных, включающий различные типы изображений. Эти изображения включали естественные фотографии, диаграммы, графики, снимки экрана и пользовательские интерфейсы приложения. Созданные описания были оценены на предмет точности, полноты, релевантности и полезности. Для поиска областей для улучшения качества создаваемых описаний использовались несколько методов оценки, включая экспертные суждения человека и оценку с помощью LLM.

Каковы ограничения расширенных описаний изображений и как пользователи могут свести к минимуму влияние этих ограничений при использовании системы?

Корпорация Майкрософт стремится к созданию ответственного искусственного интеллекта. Наша работа руководствуется основным набором принципов: справедливости, надежности и безопасности, конфиденциальности и безопасности, инклюзивности, прозрачности и подотчетности.
 
Эта функция может предоставлять неточное описание изображения, данные на диаграммах или графиках или эмоциональные выводы. Это может привести к неверным предположениям о изображении или намерению визуального содержимого на основе созданного описания. Мы продолжаем работать над используемыми моделями, чтобы улучшить качество предоставленных описаний изображений. Вы можете отправить отзыв с помощью любого из методов, описанных в Разделы справки предоставить отзыв об описаниях изображений в экранном дикторе? 

Эту функцию не следует использовать для:

• Создание описаний для медицинских изображений или изображений, связанных со здоровьем, которые могут быть неправильно истолкованы как медицинские советы. Неправильные описания могут привести к дезинформации и потенциально вредным решениям со стороны пользователей.
• Создавайте описания изображений в юридических или финансовых документах, где точность имеет решающее значение. Неправильное толкование таких изображений может привести к судебным спорам или финансовым потерям
• Создание описаний для изображений, содержащих культурные или религиозные символы без надлежащего контекста. Неправильное толкование может привести к культурной бесчувственности или правонарушению.
• Создание описаний для изображений, содержащих карты, флаги или глобусы. Неправильное толкование этих изображений может привести к дезинформации и участию в международных делах.

Какие операционные факторы и параметры позволяют эффективно и ответственно использовать подробные описания изображений?

  Чтобы создать полнофункционированные описания изображений в экранном дикторе, выполните приведенные ниже действия.

Чтобы получить описание изображения, когда экранный диктор включен, нажимайтеклавишу+ экранного диктораCTRL+ D, фокусируясь на визуальном содержимом. Чтобы отключить описания изображений в экранном дикторе, перейдите в раздел Параметры>Специальные> возможностиЭкранный диктор>Получение описаний изображений, заголовков страниц и популярных ссылок и выберите переключатель. 

Чтобы создать полнофункционированные описания изображений в click to Do, выполните приведенные ниже действия.

Нажмитекнопку мышиWindows+ или нажмите клавишу+Windows Q, чтобы ввести Щелкните, чтобы сделать, выбрать изображение или сосредоточиться на ней, а затем выберите действие Описать изображение, чтобы начать создание описания изображения. 

Разделы справки предоставить отзыв о созданных расширенных описаниях изображений?

В описаниях, предоставляемых этой функцией, могут быть неточности. Чтобы улучшить качество описаний, вы можете предоставить отзыв, выполнив следующие действия:

• Выбор значка с большими пальцами вверх или вниз в описании изображения в пользовательском интерфейсе экранного диктора.
• Отвечая на случайные запросы из Windows с просьбой оценить или предоставить письменный отзыв о продукте или службах, которые вы используете.
• Откройте Центр отзывов , чтобы найти аналогичные отзывы для отправки или предоставления новых отзывов, заполнив форму.

Обязательства Майкрософт в области ответственного применения ИИ и конфиденциальности

Майкрософт работает над ответственным развитием ИИ с 2017 года, когда мы впервые определили наши принципы в области ИИ, а затем ввели в действие наш подход с помощью Стандарта ответственного применения ИИ. Конфиденциальность и безопасность — главные принципы для нас при разработке и развертывании систем ИИ. Мы работаем над тем, чтобы помочь нашим клиентам ответственно использовать наши продукты ИИ, делимся накопленным опытом и строим доверительные партнерские отношения. Дополнительные сведения о наших усилиях по ответственному использованию ИИ, принципах, которыми мы руководствуемся, а также о средствах и возможностях, которые мы создали для обеспечения ответственной разработки технологий ИИ, см. в разделе Ответственный ИИ. 

Функция расширенных описаний изображений предназначена для повышения доступности для незрячих и слабовидящих пользователей и не предназначена для более широкой аудитории. Модели ИИ для этой функции используют контекстные подсказки во всем изображении, включая людей или сущностей в фоновом режиме. Таким образом, модели по-прежнему могут связывать изображение с отдельным пользователем или описывать эмоции. Подробные описания изображений позволяют делать эмоциональные выводы, но не используют биометрические данные. Любая обработка, возвращающая результаты, которые идентифицируют человека или вывод, что его эмоции не являются результатом обработки лица, например распознавания лиц, создания и сравнения шаблонов лиц. Например, если изображение содержит фотографию популярного спортсмена в майке своей команды и его конкретный номер, модели могут по-прежнему возвращать результат, который может идентифицировать человека на основе этих контекстных подсказок.

Эта функция не должна использоваться для вывода или вывода эмоций физических лиц на рабочем месте или в образовательных учреждениях (например, работников или студентов). Полнофункционированные описания изображений могут предоставлять подробные текстовые описания, связанные с воспринимаемыми эмоциями людей на изображениях. Процессы, лежащие в основе человеческих эмоций, сложны, и существуют культурные, географические и индивидуальные различия, которые влияют на то, как мы воспринимаем, переживаем и выражаем эмоции. Ответы, связанные с эмоциями людей на изображениях, основаны на том, как они появляются и не обязательно точно указывают на внутреннее состояние отдельных людей. 

Чтобы прояснить, как работает каждая функция ИИ, важно понимать ее возможности и ограничения. Вы должны понимать, какие возможности выбора вам доступны при использовании функции ИИ, а также какую ответственность вы несете за эти возможности. 

Действие щелчком предлагает действия, которые вы можете выполнить, и вы можете выбрать приложения, которые будут поставщиками (если применимо) этих действий. После выбора действия и поставщика для этого действия, ответственность за результаты этого действия несет поставщик. Например, из меню Действия щелчком вы можете выбрать действие "Удалить фон с помощью Paint", что означает, что вы выбрали Paint в качестве поставщика для действия.  После выбора действия в контекстном меню Click to Do запускается приложение Paint, и выбранное изображение обрабатывается Paint.  

Модели "Действие щелчком" прошли оценку справедливости, а также комплексную оценку ответственного применения ИИ, безопасности и конфиденциальности, чтобы убедиться, что технология эффективна и справедлива, а также соответствует лучшим методикам ответственного применения ИИ Майкрософт.  

Дополнительные сведения о конфиденциальности для отзыва см. в статье Конфиденциальность и контроль над процессом отзыва.

Опубликовано: 11 февраля 2025 г.

Последнее обновление: 23 июня 2025 г.