使用多模态界面减少玩数字桌面游戏的认知负荷

文献标题

Reducing the Cognitive Load of Playing a Digital Tabletop Game with a Multimodal Interface

文献信息

• 主题领域: 人机交互 (HCI)，语音与触控的多模态交互设计及其对认知负荷的影响
• 关键词: 多模态接口, 语音与触控, 认知负荷, 交互式表面, 对比研究, 用户体验, 智能游戏界面, 实验设计, 数字桌面游戏

研究背景与问题

• 发现问题或挑战:
  • 高认知负荷会导致用户压力增加、错误发生率上升，并限制任务成功完成的可能性。
  • 多模态接口 (MMIs) 理论上优于单模态接口 (UMIs)，但实践中对其优势的系统性验证不足。
  • 目前缺乏比较研究直接评估 MMIs 与 UMIs 的认知表现以及它们在不同应用场景的有效性。
• 问题重要性:
  • 数字桌面游戏集成复杂任务和实时玩家交互，是测试认知负荷和用户体验的理想环境。
  • 选择和系统控制任务在游戏和其他无约束交互领域中是非常关键的操作，需要减少用户认知负荷以提升用户体验和交互效率。
• 研究动机与相关工作:
  • 研究者已经提出并展示了 MMIs 在某些场景下的潜在优势（例如 Oviatt 的语音与笔交互研究），但这些研究多基于实验模型或非实际接口实现。
  • 将多模态语音和触控交互引入数字桌面游戏，可以进一步验证这种交互模式的适用性。

解决方案

• 提出的方法或解决方案:
  • 实现与评估一种结合语音和触控的多模态接口 (MMI)，并与单一触控菜单式接口 (UMI) 进行比较。
  • 基于双任务范式 (Dual-Task Paradigm) 测量用户认知负荷，同时使用用户体验调查问卷评价直观性与满意度。
• 创新之处:
  • 首次应用功能齐全的多模态接口（无需人工辅助输入）并进行综合评估。
  • 提出一种系统性设计方案，通过桌面互动表面的任务表现来评估认知负荷。
• 实施步骤/关键技术:
  1. 数字桌面游戏开发: 实现了测试平台 "Mice Dance"，用户通过选择虚拟鼠标并完成任务（如拾取奶酪、破坏陷阱等）。
  2. 接口设计:
     • MMIs 支持同时或连续的语音与触控输入。
     • UMIs 使用圆形菜单，结合短按与长按操作选择任务选项。
  3. 实验设计:
     • 使用双任务范式，让用户同时进行主任务（基于触控或语音任务）和辅助任务（物理移动标志物至目标位置）。
     • 通过严密控制两种接口任务执行时间，使得两种接口具有可比性。
  4. 量化认知负荷与用户体验: 使用 SEA、PSR、RTLX 问卷量化认知负荷，并通过 AttrakDif 和 QUESI 问卷评价用户体验及交互直观性。

研究成果

• 具体成果:
  • MMI 明显降低了认知负荷（主观和客观数据支持），并且更直观和易用。
  • 在高任务频率条件下，MMI 的优势尤其明显，二级任务错失率显著降低。
  • 大多数参与者更喜欢使用 MMI，并表示其操作感更流畅。
• 与现有解决方案相比的优势:
  • 通过语音与触控的协同输入，MMI 减少了用户的视觉资源占用，使得用户能够更及时地发现竞争任务。
  • MMI 比 UMI 更自然地牵引人类固有的沟通能力，提升了任务操作直观性。
• 实验或评估结果:
  • 认知负荷: SEA 和 RTLX 问卷表明，MMI 显著地减少用户工作量，尤其在高任务频率时更为显著。
  • 用户体验: AttrakDif 和 QUESI 问卷中，MMI 在易用性和吸引力等多个维度得分更高。
  • 定性反馈: 大部分用户赞同 MMI 更直观、更平滑；但少量用户提到了语音识别错误的不足。
• 局限性与未来方向:
  • 仅包括简单的主任务，未来可扩展至更复杂的战略任务场景。
  • 未测试多用户环境对 MMI 的影响，未来应考虑社交交互对认知负荷的潜在影响。
  • 现有语音识别技术的局限性可能影响复杂任务场景的表现，应进一步研究优质的语音识别算法。
  • 通用性需更广泛验证，尤其针对虚拟现实或增强现实等技术场景。