MIWA：用于增强用户控制与信心的混合式Web自动化

文献标题

MIWA: Mixed-Initiative Web Automation for Better User Control and Confidence

文献信息

• 主题领域: 用户界面设计、编程与数据科学交叉领域，重点探讨通过编程示范（PBD）实现网页自动化
• 关键词: 编程示范 (Programming by Demonstration), 网页自动化 (Web Automation), 数据科学 (Data Science), 可解释性 (Explainability), 用户界面设计 (UI Design)

研究背景与问题

• 发现的问题或挑战:

  • 网页自动化脚本的开发需要熟悉编程语言、HTML结构及相关工具（如Selenium、Scrapy等），对非专业用户形成了高学习门槛。
  • 现有的编程示范 (PBD) 工具在脚本理解、验证和用户信任构建上提供的支持有限，用户发现错误后通常需要从头开始，修复成本高。
  • 当前系统缺乏有效的错误诊断与修复机制，用户无法简便地发现和处理生成脚本中的潜在问题。

• 重要性:

  • 网页数据对社会科学研究者和数据科学家的研究至关重要，改善网页自动化工具的可访问性与用户体验可以显著提高生产力。

• 研究动机与相关工作:

  • 编程示范 (PBD) 为使非编程用户无需代码编写实现网页自动化提供了希望。
  • 然而，既有工具如Rousillon等存在交互复杂、用户信任低、错误处理不方便等局限性，亟需改进。

解决方案

• 提出的方法或解决方案:

  • 引入MIWA，一个支持混合交互设计的网页自动化工具。
  • 提供自然语言描述 (NL Description) 的脚本解释机制。
  • 支持用户对脚本的微调，允许撤销、重做、编辑操作示范。
  • 带有数据异常检测功能，帮助用户发现和修复潜在问题。

• 创新之处:

  • 使用基于语法的自然语言解释方法，逐步分解脚本并将其翻译为用户易于理解的描述。
  • 实现了带有用户操作轨迹编辑功能的增量性脚本合成算法，提高了脚本生成效率。
  • 提供视觉对应 (Visual Correspondence) 功能，帮助用户直观了解脚本中的元素与网页元素的关系。
  • 针对常见数据异常的检测机制，比如数据缺失、格式不一致等，提高脚本健壮性。

• 实施步骤与关键技术:

  1. 用户在目标网页上进行示范操作，MIWA记录这些操作。
  2. 系统分析操作轨迹并生成对应的网页自动化脚本。
  3. 基于用户输入表 (例如CSV文件) 和记录的操作轨迹，逐步构建脚本逻辑。
  4. 用户可以通过自然语言解释和调试功能检查脚本是否符合期望，必要时修复错误或调整示范。
  5. 数据异常检测模块实时监测脚本执行中的问题，并提示用户处理。

研究成果

• 具体成果:

  • 相较于现有工具（Rousillon), MIWA 显著提升了任务完成效率，且更易于被用户理解和信任。
  • 用户研究表明，使用MIWA完成任务的时间减少了一半，用户对生成的脚本信心显著提高。
  • 提供一个支持合理纠错、快速验证和跨页面操作的通用网页自动化框架。

• 优势:

  • 改善了脚本的可解释性，减少跨学科用户的理解负担。
  • 与基于图形界面的编程工具相比，MIWA的自然语言解释对非编程用户更加友好。
  • 提供便捷的错误修复与调试机制，操作效率和可靠性更高。

• 实验或评估结果:

  • 用户研究（24名受试者）显示：MIWA的平均任务完成时间为3分58秒，比Rousillon缩短了55%。
  • 用户对MIWA生成脚本的信心评分为6.50（7分满分），显著高于对Rousillon的信心评分5.58。
  • 系统在29个实际任务中成功解决了74%的任务，平均用时不到3分钟。

• 局限性与未来方向:

  • 目前只返回单一生成脚本(top-1)，可能忽略正确但排名较低的脚本。未来可探索返回多个候选脚本供用户选择。
  • 不支持动态加载内容（如无限滚动列表）和某些动态网页的复杂交互。
  • 数据异常检测基于启发式规则，可能漏检测某些极端情况。
  • 用户反馈希望增加对诸如文件下载、图片抓取及时间操作的支持。