Video2Action：减少应用教程视频动作标注中的人工交互

文献标题

Video2Action: Reducing Human Interactions in Action Annotation of App Tutorial Videos

文献信息

• 主题领域: 人机交互 (Human-Computer Interaction)，视频注释与用户行为预测
• 关键词: App教程视频, 用户操作, 深度学习, 自动化图像处理, UI交互, 视频场景分割

研究背景与问题

• 发现的问题或挑战:

  1. 移动应用教程视频的操作行为注释需耗费大量时间和精力。
  2. 用户对视频中的快速动作和微小的UI变化感到难以察觉。
  3. 视频的听觉信息存在语言障碍以及对听障用户的不友好。
  4. 现有方法，如加入API代码或使用外部设备录制，虽能帮助生成部分行为数据，但服务于开发者和测试员的工具并不适用于普通的非技术用户（如视频创作者）。

• 问题重要性: 视频教程已成为用户学习新功能和技巧的重要方式，但缺乏辅助工具导致注释过程繁琐，使得许多视频完全没有关键操作标注，从而降低了教程的学习效果和易用性。

• 研究动机与相关工作:

  • 现有研究主要集中在自然场景或桌面端软件的视频注释上，缺乏对手机UI教程视频操作行为的建模方法。
  • 目标是在减少人工干预的情况下，快速、高效地注释无法直接标注的操作行为及位置。

解决方案

• 方法或解决方案: 提出了一种轻量级非侵入式方法——Video2Action，通过图像处理和深度学习技术来自动获取视频中的操作行为。

• 创新之处:

  1. 采用启发式图像处理方法对教程视频进行场景分割。
  2. 使用深度学习模型预测操作行为位置，结合数据增强和优化损失函数以提高模型的鲁棒性。
  3. 提供面向视频创作者的交互式界面以辅助操作注释。

• 实施步骤与关键技术:

  1. 操作场景生成:
     • 使用亮度比较算法计算视频帧间的结构相似度（SSIM），分割出显著UI变化的操作场景。
     • 根据相似度变化模式识别三类操作行为：点击（Tap）、滚动（Scroll）、返回（Backward）。
  2. 操作位置预测:
     • 使用区域提议网络（Region Proposal Network）检测潜在的可点击区域。
     • 利用视觉编码与位置预测网络结合，预测触发UI变更的点击位置。
     • 增加特定的数据增强方法：元素交换和变形增强以扩展训练数据。
  3. 界面实现:
     • 将生成的场景与预测的位置整合到一个交互式用户界面，以供视频创作者直接使用。

研究成果

• 具体成果:

  • Video2Action在自动化实验中为场景分割任务达到81.67%的视频F1分数，以及86.41%的Levenshtein评分。
  • 在操作位置预测任务中，对Top-1位置预测的准确率达到50.14%，Top-5预测位置的准确率为81.89%，均优于现有方法。
  • 用户研究表明使用Video2Action可以节省85%的注释时间，同时反馈证实其工具对视频社区中的推广有益。

• 优势比较:

  • 相比先前的图像处理及机器学习方法，Video2Action更加适配移动应用界面的特点，能够从仅有的视频输入中有效获取操作信息。
  • 提供的完全可交互界面显著降低了创作者的学习和使用门槛。

• 实验或评估结果:

  • 自动化评估显示在教程视频场景分割和行为预测任务的性能上，新方法显著优于7个比较基线。
  • 用户测试显示，视频创作者通过工具完成注释的速度显著提升，并能轻松校正工具的不准确性。

• 局限性与未来方向:

  • 局限性包括：
    1. 对动画变化较多或初始为返回操作的UI视频生成场景存在误差。
    2. 部分复杂场景中对于深语义理解和内容差异的预测能力不足。
  • 未来方向：
    1. 提升方法的准确性，通过整合UI转场动画信息等动态数据。
    2. 扩展到更高级的用户行为，例如手势缩放和3D交互。
    3. 提供跨平台支持（如iOS和网页教程视频的操作分析）。

总结而言，Video2Action提供了一种创新且有效的解决方案，用于解决用户在教程视频注释中的关键痛点，表现出显著的性能优势及强大的实际效用。