网络物理环境中的多模态多尺度注意力引导

文献标题

Multi-modal Multi-scale Attention Guidance in Cyber-Physical Environments

文献信息

• 主题领域: 信息与计算科学，特别是人机交互与网络物理环境中的注意力引导
• 关键词: 注意力引导, 网络物理环境, 智能环境, 多模态, 多尺度

研究背景与问题

• 问题或挑战:

  • 网络物理环境（Cyber-Physical Environments, CPE）需动态感知与响应环境的变化，涉及如何有效地引导用户的注意力到关键目标或区域，并避免干扰。
  • 当前CPE缺乏与人类直接通信的方式，例如“指向”某个物体以表达关注点。
  • 不同输出设备之间如何协调以优化注意力引导的性能仍未解决。

• 重要性:

  • 注意力引导可改善用户在复杂动态环境中的交互体验，适用于导航、物体寻找以及安全警示等场景。
  • 有效的注意力引导可降低用户的认知负担，并提高任务完成效率。

• 研究动机与相关工作:

  • 注意力的选择性过程受两个主要因素影响：自上而下的目标导向处理与自下而上的外在刺激驱动。
  • 现有方法中，多模态线索被证明能够提升注意力的引导效果，然而缺乏跨设备动态多尺度的适应性方法。
  • 当前诸如Subtle Gaze Direction、项目导航系统以及虚拟环境的视觉高亮系统已取得初步成果，但在实际复杂环境中的应用显然不足。

解决方案

• 方法或解决方案:

  • 提出一个多模态（视觉和听觉）、多尺度的注意力引导方法，旨在根据环境信息实时选择最适合的设备来引导用户注意力。
  • 构建一个通用适配的功能——“适合度函数”（Suitability Function），通过计算设备的“显著性”（salience）和“接近度”（closeness）来评估输出设备的效果。

• 创新点:

  • 提出了基于显著性与接近度的综合评估函数，允许在动态环境中调整权重以平衡两者的重要性。
  • 支持跨视觉和听觉模态的信息引导，并考虑用户的动态位置和环境多设备特性。
  • 采用“多尺度过渡”（Multi-scale Transition）解决设备切换带来的可视化干扰问题。

• 实施步骤与关键技术:

  1. 显著性函数:
     • 通过设备的亮度、尺寸等视觉特性和音量等听觉特性，预测设备吸引用户注意力的能力。
     • 考虑用户对视觉设备的视野限制和听觉设备的声音影响，进行了适当的范围归一化调整。
  2. 接近度函数:
     • 使用设备对于目标的精准度（accuracy）和精确度（precision）来评估其引导性能。
     • 根据用户与目标的距离动态调整函数，确保远距离时给予更多宽松引导，近距离时提升精确度要求。
  3. 多尺度过渡机制:
     • 通过引入过渡“阈值”参数（margin λ），避免设备频繁切换，提升系统稳定性。
     • 添加设备的“动量权重”（momentum weight），短期内优先维持当前设备引导。

研究成果

• 具体成果:

  • 在虚拟现实超市环境中设计实验，验证提出方法的有效性。
  • 实验表明在“视觉+听觉”多模态引导中，当存在过渡阈值时会显著减少用户完成任务的行进距离。
  • 没有阈值时系统表现波动较大，且多模态的优势不明显。

• 与现有解决方案的优势:

  • 多模态结合显著提升注意力引导性能，尤其在动态环境中的适应性和稳定性优于传统单模态方案。
  • 突出系统灵活性：可根据具体环境优化函数参数，适配不同CPE场景。

• 实验或评估结果:

  • 混合模态指导下，平均行进距离显著减少（M=33.12，SD=3.38），而视觉单模态指导表现较弱（M=39.02，SD=9.79）。
  • 在无过渡阈值情况下设备切换频率较高（M=25.16），显著高于存在过渡阈值时的情况（M=14.05）。
  • 用户报告互动体验支持多模态方案，听觉线索有效补充了视觉的局限性。

• 局限性与未来方向:

  • 局限性:
    • 实验在虚拟环境中进行，真实环境中需考虑设备传感器误差和输出设备可用性。
    • 部分参数（如交互权重）未表现显著影响，可能因实验设计限制。
  • 未来工作:
    • 将系统测试扩展到真实场景，解决硬件适配问题。
    • 优化函数设计，引入更准确的显著性和接近度计算模型。
    • 探索更多可用的输出设备（如触觉反馈）及其对注意力引导性能的提升。
    • 开发支持多人交互的多用户注意力引导方法。