全神贯注的多任务处理者：在光学头戴显示器上模拟注意力切换

文献标题

Heads-Up Multitasker: Simulating Attention Switching On Optical Head-Mounted Displays

文献信息

• 主题领域: 人机交互、计算机科学、视觉感知
• 关键词: 多任务处理、抬头计算、计算理性、深度强化学习、受限最优控制

研究背景与问题

• 发现问题或挑战: 使用光学头戴式显示设备（OHMD）阅读内容时，用户需要不断在数字信息和周围环境之间切换注意力。头部扰动可能进一步降低用户的阅读效率，并对行走安全构成威胁。
• 重要性: 理解用户的注意力切换策略对优化OHMD界面设计至关重要，以改进阅读体验并保证行走安全。
• 研究动机与相关工作:
  • 虽然在驾驶等其他领域的多任务行为已有相关建模研究，但这些发现无法直接适用于OHMD这一特定场景。
  • OHMD的透明显示屏集成了数字内容与用户物理环境，这种独特特性使得注意力切换研究复杂化。
  • 此前研究主要依赖于实验数据，而计算模型则有潜力评估设计并优化人机界面。

解决方案

• 方法与解决方案: 提出一个层次化强化学习模型，将用户的注意力切换行为建模为一个受约束的序列决策问题。主要包括三个控制等级：
  1. 监督控制层: 优化任务优先级，决定注意力分配。
  2. 任务层: 控制阅读和环境扫描的行为，利用工作记忆跟踪任务状态。
  3. 运动控制层: 管理眼球运动以获得感兴趣的信息，并控制步态。
• 创新之处:
  • 使用部分可观测马尔科夫决策过程（POMDP）捕捉用户视觉注意力行为的关键因素，如记忆衰退和视觉感知。
  • 嵌入基于像素的视觉感知，通过物理模拟器MuJoCo提升模拟的逼真性。
  • 通过强化学习技术自动生成适应环境和任务变化的策略。
• 实施步骤与关键技术:
  • 使用分层强化学习结构，设定长短时间步长以区分任务级别操作与运动级别操作。
  • 在MuJoCo中搭建用户模型和环境，并训练代理以最大化累计奖励。

研究成果

• 具体成果:
  • 模型成功捕捉了OHMD用户的多任务行为，包括注意力切换和阅读重启过程。
  • 模拟结果与人类数据高度一致，在阅读效率、行走速度以及阅读恢复时间和错误率方面表现优异。
• 优势对比:
  • 与传统手工设定行为规则的方法不同，提出的模型通过学习策略生成动态解决方案，适应不同交互情境。
  • 不依赖大量人类数据即可生成符合真实行为趋势的预测。
• 实验与评估结果:
  • 通过4个实验验证了模型的表现：
    1. 用户面对不同任务优先级和行走速度时的注意力切换策略。
    2. 模拟行走头部扰动对阅读速度的影响，并与人类数据进行比较。
    3. 在3种文本布局下的阅读恢复性能，包括时间成本和错误率。
    4. 总体模型行为在复杂任务场景中的表现，包括环境注意分配和行走速度调整。
  • 模型准确预测了最佳文本布局，如在100px和125px行间距之间优化的可能性。
• 局限性与未来方向:
  • 模拟中简化了步态控制和视觉数据处理能力，未来可引入更详细的生物机械模型以及环境识别能力。
  • 目前评价方法以平均指标为主，未来可以添加更多参数，支持细粒度的时序行为分析。
  • 可扩展到更复杂的真实场景，例如城市街道导航或乡村路径散步。

总结

本文提出了一个创新的计算理性模型，用于模拟用户在使用OHMD时的多任务行为。研究表明，该模型不仅能够准确模拟用户的注意力切换策略，还为指导界面优化设计提供了理论和实践支持，为改善OHMD用户体验铺平了道路。