Multi-Click：通过动作泛化的跨标签页网页自动化

DOI

重复操作是使用网页时常见且令人沮丧的部分。先前工作提出了使用自然语言描述、演示和伪代码自动化重复操作的方法。然而，这些方法引入了难以编写、评估且不适合网页工作流的抽象。我们描述了一种新方法Multi-Click，用于同时在多个页面上执行相同动作（如点击或输入），同时保持直接操作的可立即理解性。用户可以直观地选择窗口/标签页内或跨窗口/标签页的类似元素组（例如，模板不同实例中的等价元素），并与这些元素交互，就像每个元素同时具有键盘或光标焦点一样（例如，一次点击传播到多个目标）。Multi-Click引入了从结构和视觉属性识别类似元素的算法；直观选择和可视化目标的技术；以及使用交互式数据网格管理文本输入和检索任务中变化的方法。