Автоматизация с помощью мыши, клавиатуры и действий OCR (рекомендуется для автоматизации в VDI)

В случаях, когда пользователь не может получить доступ к элементам пользовательского интерфейса веб-приложений или приложениям пользовательского интерфейса и, следовательно, не может автоматизировать с помощью действий браузера или пользовательского интерфейса, или средства записи, настоятельно рекомендуется использовать альтернативные методы автоматизации, такие как использование изображений или мышь и клавиатура.

Метод изображения захватывает участки экрана, которые затем используются в качестве ссылок для выполнения нажатий, отправки текста и щелчков мышью. Автоматизация на основе изображений может быть записана средством записи на основе изображений или разработана вручную. Узнайте больше о том, как автоматизировать использование изображений, в этой теме.

И наоборот, в случаях, когда изображение нельзя использовать в качестве точки отсчета, рассмотрите возможность использования возможностей OCR для навигации по экрану. Информацию о возможностях OCR можно найти в соответствующем справочнике действий.

В обоих вариантах, описанных выше, лучший способ навигации — использование щелчков мышью и нажатий клавиш, которые объясняются в справочнике действий.

Перед созданием вашей автоматизации убедитесь, что соответствующее окно сфокусировано и развернуто, используя действия Установить фокус на окно и Установить состояние окна.

Если вам нужно дождаться загрузки определенных компонентов, прежде чем запускать действие, используйте группу действий "ожидание".

Используйте действие Ждать для ожидания в течение установленного количества времени, действие Ожидать изображение, чтобы дождаться появления/исчезновения изображения, или действие Ожидать текст на экране (распознавание текста) для ожидания появления/исчезновения текста.

Чтобы перемещаться по веб-странице или приложению и взаимодействовать с его компонентами, используйте действия мыши и клавиатуры.

Например, разверните действие Отправить нажатия клавиш, чтобы использовать доступные сочетания клавиш, или Навести мышь на изображение и Переместить мышь на текст на экране (распознавание текста) для перемещения курсора на определенное изображение или текст соответственно.

Чтобы получить текст с экрана и сохранить его в переменной, разверните либо действия с буфером обмена, либо действие Извлечь текст путем распознавания. Чтобы сохранить текст в буфере обмена, выделите текст с помощью действия Отправить нажатия клавиш или Отправить щелчок мыши.

Вы можете настроить действие Отправить нажатия клавиш, чтобы отправить сочетание клавиш CTRL + A, которое выделяет весь текст на веб-странице или в приложении.

В качестве альтернативы вы можете использовать действие Отправить щелчок мыши, чтобы отправить Нажать левую кнопку в начале текста, который вы хотите выделить, а затем Отпустить левую кнопку в конце.

После выделения разверните действие Отправить нажатия клавиш, чтобы отправить сочетание клавиш CTRL + C, сохраняющее выделенный текст в буфере обмена. После сохранения текста в буфере обмена используйте действие Получить текст из буфера обмена для сохранения содержимого буфера обмена в переменной.