识别支持用户与程序视频互动的多模式情境感知需求

文献标题

Identifying Multimodal Context Awareness Requirements for Supporting User Interaction with Procedural Videos

文献信息

• 主题领域: 人机交互、人工智能、上下文感知技术
• 关键词: 多模态上下文感知、程序性视频、用户交互、人工智能助手、语音用户界面、视频导航、任务对齐

研究背景与问题

• 发现问题或挑战: 研究发现用户在观看并模仿教程视频完成任务时，需要不断在任务执行的主情境和解析视频指令的次情境之间进行交替转换，这种过程可能导致认知过载。此外，已有研究对如何支持这种连续上下文切换的探索有限，当前智能助手设计并未有效考虑用户的环境或任务进度。
• 研究重要性: 随着程序性“如何做”视频（如烹饪和健身视频）的广泛流行，开发支持用户任务对齐的智能系统不仅可以提升用户体验，还对代替传统人类指导具有潜力。
• 研究动机与相关工作:
  • 现有工作主要集中在视频问答功能和视频操控技术，但多基于视频元数据，缺乏对用户任务和环境的感知。
  • 特别是对复杂任务如烹饪，用户面临多重情景切换（如时间约束、环境状态感知），需要上下文感知的智能助手予以支撑。

解决方案

• 提出方法或解决方案:
  • 作者设计了一种“巫师实验”（Wizard-of-Oz study），模拟一个理想的无手操作交互系统（HFIAI），该系统能够理解用户所在环境和任务进展并提供多方面支持。
  • 实验用30名参与者进行了厨房烹饪任务跟踪，通过视频导航、提醒、问题回答等方式，记录所有互动行为。
• 创新之处:
  • 结合用户任务完成流程与互动模式，揭示用户特征、任务上下文对交互需求的影响。
  • 实验过程中不限当前技术瓶颈（如视觉分析或自然语言理解错误），探索真正理想化多模态系统可能实现的功能。
• 实施步骤与技术:
  • 分析实验展开的时间流（从准备食材到上菜），提取数据以回答以下问题：
    1. 查询类型及其发生时间。
    2. 查询动机及其关联用户背景和个人特性。
    3. 系统响应能力如何跨越视频元数据范围。

研究成果

• 具体成果:
  • 用户互动模式展现一致的查询时间节点，但查询语义及动机因用户特征有所不同。
  • 阐明某些交互需要先进的自然语言理解功能或超越视频元数据的能力，例如：环境声音感知、视觉捕捉、提醒设置。
  • 提出三类用户画像（进程型用户、任务型用户、多重型用户），并分别探讨他们的交互需求与适应系统设计。
• 与现有解决方案比较的优势:
  • 更全面的上下文感知能力，可支持细粒度交互，比如基于食材的替代方案、步骤相关的时间和温度等。
  • 设计声明了多模态助手的潜力，同时明确了如何通过学习用户查询模式和语义实现高效任务支持。
• 实验与评估结果:
  • 平均每位参与者与HFIAI产生52次互动。
  • 不同参与者之间存在一致的查询触发流（如每个烹饪步骤完成后暂停或播放视频等）。
  • 用户不但需要回答代码化问题（如视频导航指令），还要求系统理解跨领域信息和协助完成环境感知任务。
• 局限性与未来方向:
  • 当前研究以中青年用户为主，未涵盖对HFIAI完全不熟悉或专家级厨师的群体。
  • 研究集中于烹饪任务，未来应该探讨不同任务类型，如乐器学习、家具组装，是否需要相似的设计原则。
  • 系统扩展到多模态感知（如嗅觉或味觉）和进一步个性化调整可能是下一步重点。

总结

本文在程序性视频的用户交互研究中，递进展示了多模态智能辅助系统如何兼顾上下文感知与任务对齐需求。通过观察用户与系统互动的多样性与普遍性，作者为未来智能助手设计提供了切实可行的指导，并明确了语音、视觉及环境感知等技术提升的方向。