SemanticOn：为Web自动化程序指定基于内容的语义条件

文献标题

SemanticOn: Specifying Content-Based Semantic Conditions for Web Automation Programs

文献信息

• 主题领域: 人机交互、Web自动化、语义条件
• 关键词: Web自动化, 编程示范, 用户意图, 语义条件, 人机协作, 无代码开发, 机器学习, 错误修正, 指令细化, 用户体验

研究背景与问题

• 发现的问题或挑战:

  1. 现有的Web自动化工具很难定义基于内容的语义行为条件，用户无法通过语义过滤来智能地筛选候选内容。
  2. 对于文本或图像语义信息的灵活需求，传统工具很难快速捕获用户意图并准确实现语义条件。
  3. 用户难以在持续执行的自动化程序中监控并纠正错误。

• 重要性: Web自动化广泛应用于数据抓取和数据输入等重复性任务中，这些任务通常由于手动操作引起错误或效率低下。实现智能语义条件可以显著提高自动化的灵活性和准确性，同时降低编程门槛。

• 研究动机与相关工作:

  1. 研究者发现缺乏基于语义的交互技术以满足复杂的自动化需求，如基于文本情感或图像条件的筛选。
  2. 以往工具的局限在于其基于语法或结构的条件定义，没有探索内容语义驱动的逻辑构建。
  3. 用户的反馈表明需求集中在能够表达语义内容过滤条件以及有效处理错误的工具上。

解决方案

• 提出的方法或解决方案: SemanticOn系统，是一种允许用户通过两种方法指定、优化并整合视觉和文本语义条件到Web自动化程序中的工具：

  1. 用户输入方式 (User Enters)：用户使用自然语言描述搜索条件。
  2. 系统建议方式 (System Suggests)：用户通过在内容上进行高亮或标注，系统基于机器学习技术生成建议条件。

• 创新之处:

  1. 引入基于语义条件的交互设计，填补传统工具无法涵盖内容语义表达的空白。
  2. 综合使用Transformer模型处理非结构化信息，结合Web程序合成技术在无代码开发框架下实现语义自动化。
  3. 提供连续的人机协作模型，允许用户在程序执行过程中不断细化条件并修复错误。

• 实施步骤与关键技术:

  1. 条件指定:
     • 用户可通过自然语言输入或内容高亮指定初始语义条件。
     • 使用Transformer模型分析特定的文本和视觉信息，例如生成图像标签或关键语句。
  2. 行为演示:
     • 用户通过交互行为（如点击符合条件的内容）示范操作，系统记录并生成自动化程序。
     • 程序会对内容过滤条件进行动态判断，通过得分机制判断内容是否符合条件。
  3. 条件优化:
     • 在自动化执行中提示并允许用户修改语义条件，系统会基于机器学习模型提供条件建议。
  4. 错误修复:
     • 提供暂停功能，用户可以删除错误结果或手动添加遗漏数据，支持条件和结果的实时编辑。

研究成果

• 具体成果:

  1. SemanticOn系统帮助用户以高准确率完成Web自动化任务，尤其是在设置和优化语义条件时表现有效。
  2. 用户通过系统成功完成了针对图像和文本的条件性数据抓取任务，平均提取准确率达到80.8%。

• 解决方案优势:

  1. 与现有工具相比，SemanticOn的设计更灵活地捕获复杂语义条件，减少用户心理负担。
  2. 无需编程知识即可通过用户行为生成自动化程序，降低了使用门槛。
  3. 提供高效的错误修复及逐步条件优化功能。

• 实验或评估结果:

  1. 平均测试任务完成时间为6分10秒，显示系统效率较高。
  2. 用户反馈显示，系统的使用界面直观，语义条件的指定和优化过程易于理解。
  3. 在生成结果中新加入条件对文本任务尤为有效。

• 局限性与未来方向:

  • 局限性:
    1. 文本任务处理比较视觉任务更耗费时间和心力，用户在快速筛选文本时可能出现困难。
    2. 使用的机器学习模型在某些内容领域存在分类错误（例如过于通用的标签生成）。
    3. 条件定义与修复步骤较多，增加了用户认知负担。
  • 未来方向:
    1. 简化用户接口和工作流，减少任务完成时间。
    2. 提供统一交互技术，将用户编辑与系统生成条件结合。
    3. 提高图像和文本处理模型的性能，并优化信息呈现方式，进一步降低用户认知负担。