HelpViz：从基于文本的指令自动生成上下文视觉移动教程

文献标题

HelpViz: Automatic Generation of Contextual Visual Mobile Tutorials from Text-Based Instructions

文献信息

• 主题领域: 人机交互与移动应用教程自动生成
• 关键词: 移动教程, 自动生成, 上下文帮助, 深度学习, 图形化教程, 用户交互设计, 模拟运行, 教程生成, 安卓应用, 可访问性

研究背景与问题

• 作者发现的挑战: 移动应用教程通常由专业人员制作，成本高、耗费时间，并且随着软件版本更新需要不断修订。此外，大量的网络教程以文本形式存在，需要用户逐步匹配设备界面，耗时且容易出错。
• 重要性: 自动化教程生成不仅能降低成本，还能在软件更新后快速调整教程。这对于移动用户群体的使用过程起到帮助，减少困惑。
• 研究动机与相关工作: 先前已有通过专家示范或群体制作教程的研究，但仍需要人类参与。文献回顾表明，视觉化教程可提升理解力和可操作性，但现有技术通常依赖人为制作或半自动生成，无法完全实现自动化。

解决方案

• 方法与方案:
  1. 文本解析: 使用预训练深度学习模型解析文本指令，提取动作与目标对象。
  2. 指令分步分段: 根据解析结果将指令分解为多步骤。
  3. 模拟运行执行指令: 在安卓模拟器阵列中自动执行指令以捕获屏幕截图、视频片段以及元数据。
  4. 教程合成: 将文本指令与生成的视觉资产（如截图和视频）结合以创建可交互的图形化教程。
  5. 实时上下文服务: 在移动设备上根据用户操作动态展示教程，并高亮正在执行的步骤。
• 创新点:
  1. 通过深度模型解析文本指令，将网络文本转换为图形化教程。
  2. 使用"beam search"优化解析模型，对潜在错误提供多种备选方案。
  3. 采用"look-ahead"技术解决指令与模拟器界面之间匹配问题，最大化执行成功率。
• 实施步骤与关键技术:
  1. 预训练指令解析模型用于动作序列生成。
  2. 批量在多个模拟器中运行指令，并通过动态元素等待与滚动机制处理屏幕加载等问题。
  3. 合成教程时结合截屏、视频和元数据，以多图视图方式展示操作界面。

研究成果

• 具体成果:
  1. 提出第一个自动将文本指令转换为视觉教程的完整流程。
  2. 开发了从文本解析到模拟器执行再到上下文敏感教程呈现的完整系统。
  3. 用户测试结果表明，偏爱 HelpViz 图形化教程，特别是在自动滚动和当前步骤高亮方面。
• 优势:
  1. 相较传统文本教程，HelpViz 所生成的视觉教程易理解，有截图支持，更适合移动设备用户需求。
  2. 自动生成教程减少了对专业知识的依赖，能应对版本更新的挑战。
• 实验与评估结果:
  1. 管道性能评估：系统针对 187 条来自 PixelHelp 数据集的多步指令进行了解析批量转换，执行完成率达到 80.9%，显著高于基准条件（67.1%）。
  2. 用户研究：10位参与者比较两种教程形式，偏爱 HelpViz，主观评价得分明显高于传统文本教程。
  3. 技术验证："beam search" 和 "look-ahead" 方法对解析准确性和执行成功率带来显著提升。
• 局限性与未来方向:
  1. 教程生成失败的主要原因包括指令文本与应用界面之间的严重不匹配以及模拟器环境不支持。
  2. 未支持复杂工作流如条件分支或循环，需要进一步扩展解析模型能力。
  3. 支持不同设备和版本教程优化，解决安卓碎片化问题。
  4. 探索适配桌面软件工作流的可能性以及为特定用户群体优化教程展示方式，例如针对视觉障碍用户添加语音指导功能。

通过 HelpViz 的研究，作者证明了大规模自动化生成视觉教程的可行性，为移动用户提供了更高质量的交互式帮助资源，同时降低了教程维护成本。这种新方法为未来人机交互教程自动化进程提供了有力的支持与启示。