RubySlippers：支持如何操作视频的内容基础语音导航

文献标题

RubySlippers: Supporting Content-based Voice Navigation for How-to Videos

文献信息

• 主题领域: 人机交互，语音用户界面设计，视频导航
• 关键词: 语音用户界面, 视频导航, 教程视频, 内容导航, 如何操作视频

研究背景与问题

• 发现的问题或挑战:

  1. 当前在观看如何操作视频时，人们需要通过拖动时间轴进行导航，但当视频内容涉及身体活动时，这种操作会导致用户在视频控制和实际操作任务之间频繁切换，增加认知负担。
  2. 将时间轴操作直接转化为语音命令（例如“跳转到3分15秒”），限制了用户对内容的快速预览能力。
  3. 语音导航当前存在的挑战包括记忆可用命令的困难、语言识别错误、以及导航方式与用户熟悉的操作习惯不一致。

• 重要性: 通过改进如何操作视频的语音导航，可以帮助用户更高效地控制视频内容，同时减少因视频控制而造成的操作中断，具有显著的实用价值。

• 研究动机与相关工作: 当前针对视频导航的研究主要集中在改进时间轴操作界面或通过增加缩略图进行内容展示。但很少有研究涉及如何优化语音用户界面来支持针对内容导航的策略。此外，其他领域如教育视频已经提出了一些数据驱动的交互技巧，但尚未完全适用于如何操作视频中的语音导航设计。

解决方案

• 主要方法或解决方案: RubySlippers系统提出通过关键词搜索支持基于内容的语音导航。其核心是一个计算管道，能够自动检测视频中的可参考元素，并优化视频分段以减少导航命令的数量。

• 创新之处:

  1. 提出了关键词驱动的内容导航，无需用户记住具体时间戳。
  2. 设计了用户友好的导航界面，包括自动关键词推荐和更新查询功能，解决了用户难以 recall 精确词汇的问题。
  3. 引入自动书签功能，根据用户交互自动标记频繁访问的场景。

• 实施步骤与关键技术:

  1. 计算管道设计: 根据视频字幕，通过自然语言处理技术预处理文本，捕捉关键词，基于句子的主题和词汇分布进行视频分段，将片段浓缩为可参考单元。
  2. 导航界面功能优化:
     • 关键词搜索：通过匹配关键词快速定位场景。
     • 查询更新：用户可以通过关键词增删来更新搜索结果。
     • 推荐机制：根据视频内容和用户行为动态生成导航建议。
  3. 系统设计: 整合语音识别、文本处理、视频界面，并支持实时交互。

研究成果

• 具体成果:

  1. 提供关键词驱动的基于内容导航方法，显著降低了导航命令的使用次数。
  2. 实现了系统原型RubySlippers，并在12名参与者中通过任务完成时间、认知负荷及用户满意度进行评估。

• 优势:

  1. 与单纯的时间轴语音导航相比，用户在多目标场景任务中的导航效率提高，交互次数减少。
  2. 用户反馈表明关键词导航更符合实用需求，并降低了认知负担和操作压力。
  3. 自动书签功能减少重复导航的负担。

• 实验或评估结果:

  1. 实验表明在三类交互任务中，多目标搜索任务的交互次数显著减少（平均减少约43%）。
  2. NASA-TLX认知负荷评估显示，时间需求和挫败感在结合内容导航时明显降低。
  3. 关键词导航帮助用户更好地理解视频内容，并增强学习效果。

• 局限性与未来方向:

  1. 语音识别错误: 当前语音识别技术仍会导致导航体验受限，未来需要进一步改进识别的准确性。
  2. 视觉显示依赖: RubySlippers界面利用了视频显示，这限制了其在完全语音助手上的应用潜力，未来需探索屏幕独立的设计方案。
  3. 领域通用性: 视频中若关键词和行为较少（如折纸视频）会限制该系统的效果，未来需结合计算机视觉技术扩展至更多类型的如何操作视频。