使用鼠标、键盘以及 OCR 操作实现自动化(推荐用于在 VDI 中自动化)

对于用户无法访问 Web 或 UI 应用程序的 UI 元素并因此无法使用浏览器或 UI 操作或记录器进行自动化的情况,强烈建议使用替代自动化方法,如使用图像或鼠标和键盘。

图像方法捕获屏幕的各个部分,然后将其用作执行点击、发送文本和鼠标点击的引用。 基于图像的自动化可以由基于图像的记录器记录或手动开发。 在本主题中详细了解如何使用图像实现自动化。

反之,对于无法将图像用作引用点的情况,请考虑使用 OCR 功能在屏幕中导航。 有关 OCR 功能的信息可在相应的操作引用中找到。

在上述两种替代方法中,最好的导航方式是使用鼠标点击和击键,这些在操作引用中进行了说明。

在构建自动化之前,请确保使用聚焦窗口设置窗口状态操作聚焦并最大化适当的窗口。

“聚焦窗口”操作屏幕截图。

如果需要等待特定组件加载后才能运行操作,请使用等待操作组。

使用等待操作可等待设定的时长,使用等待图像操作可等待图像显示/消失,或者可以使用等待屏幕上显示文本 (OCR) 操作来等待文本显示/消失。

“等待屏幕上显示文本”操作的屏幕截图。

若要浏览网页或应用程序并与其组件交互,请使用鼠标和键盘操作。

例如,部署发送键操作以使用可用的键盘快捷方式,或者使用将鼠标移至图像将鼠标移至屏幕上的文本 (OCR) 操作将光标分别移到特定图像或文本。

“将鼠标移至图像”操作的屏幕截图。

若要从屏幕中检索文本,并将其存储到变量中,请部署剪贴板操作或使用 OCR 提取文本操作。 若要在剪贴板中存储文本,请使用发送键发送鼠标单击操作突出显示该文本。

您可以将发送键操作配置为发送选择网页或应用程序上的所有文本的 Ctrl + A 键盘快捷方式。

“发送键”操作的屏幕截图。

备注

您可以在使用键盘快捷方式自动执行应用程序中找到有关使用键盘快捷方式实现自动化的详细信息。

或者,您可以使用发送鼠标单击操作在要选择的文本开头发送按下左键,然后在结尾发送上弹左键

“发送鼠标单击”操作的屏幕截图。

突出显示后,部署发送键操作以发送将所选文本存储在剪贴板中的 Ctrl + C 键盘快捷方式。 在剪贴板中存储文本后,使用获取剪贴板文本操作将剪贴板内容存储到变量中。

“获取剪贴板文本”操作的屏幕截图。