预测虚拟现实中动态虚拟元素的显眼程度

文献标题

Predicting the Noticeability of Dynamic Interface Elements in Virtual Reality

文献信息

• 主题领域: 虚拟现实中的动态界面元素显著性预测
• 关键词: 虚拟现实, 混合现实, 计算交互, 显著性预测, 用户界面, 动态元素, 视觉注意, 动画设计, 注意性, 预测模型

研究背景与问题

• 问题与挑战:

  • 在虚拟现实（VR）中，界面元素（如通知）可以任意位置和方式呈现，但设计这些元素既不被用户忽视又不过分干扰仍然是一个挑战。
  • 用户是否能够注意到一个动态元素取决于其当前的上下文，比如任务负载和环境。
  • 当前系统无法在用户明确响应之前确认用户是否注意到了通知。

• 重要性:

  • 许多VR应用依赖通知元素，例如消息提醒、导航任务和任务辅助，确保通知被注意到但不过分干扰是增强用户体验的关键。
  • 未来的“始终在线”XR头显可能广泛使用通知设计，与用户注意的匹配至关重要。

• 研究动机与相关工作:

  • 传统研究专注于何时以及如何中断用户，但缺乏针对VR环境中动态元素显著性的建模。
  • 视觉注意建模领域已经发展了许多底层特征与上下文结合的方法，但在VR环境中的应用尚处于起步阶段。
  • 本研究希望开发一套预测用户是否会注意到动态UI元素的系统，以减少设计中的主观性。

解决方案

• 方法与创新:

  • 提出了基于 视觉显著性预测 和 LSTM（长短时记忆网络）模型 的方法，用于在实时计算用户是否会注意到动态UI元素。
  • 创新性地将视觉显著性分布的变化与动画区域的变化结合起来，用于衡量注意力分布的转移。
  • 使用 地球搬运工距离（EMD） 来量化视觉显著性分布与动画区域之间的匹配度。

• 实施步骤:

  1. 采集用户视野视频帧（30fps），并生成 视觉显著性图 和 动画掩码。
  2. 基于TASED-Net模型计算显著性图，用高斯模糊生成的动画掩码表示动态变化区域。
  3. 利用EMD评估显著性图与动画掩码间的差异，并计算ΔE（颜色变化）和动画区域大小作为其他特征。
  4. 使用LSTM模型将时间序列数据输入神经网络，预测用户是否会注意到动画。

研究成果

• 具体成果:

  • 提出的模型能够以AUC（ROC曲线下的面积）为0.75的精确度预测用户是否会注意到动态变化，平均预测误差为2.56秒。
  • 相较于基于阈值的简单方法，LSTM模型展现了显著更高的性能。
  • 方法在支持不同环境、任务和动画类型上的通用性得到了验证，包括检测新的“透明度变换”动画。

• 优势:

  • 不依赖直接的用户注视数据（例如眼动追踪），仅基于视觉显著性预测实现高精度结果。
  • 可扩展性高，能够与不同的虚拟背景、用户以及动画类型很好地结合。
  • 支持实时运行，具备应用到实际VR和XR设计流程的潜力。

• 实验和评估:

  • 共计24名受试者参与数据收集，以及12名新用户用于评估实验。
  • 跨不同的任务（如视频观看和文本输入）、动画类型（颜色、大小、位置和透明度）以及两种模型（LSTM和简单阈值模型）进行了多轮验证。

• 局限性与未来方向:

  • 当前模型主要针对查询过的动画元素，针对非预期动画（例如罕见事件的警报）仍需继续优化。
  • 建议未来研究结合更多动画类型（如音频或嗅觉）和高层语义因素（例如UI布局相关性）扩展模型能力。
  • 有待进一步完善模型以适配用户的实时交互上下文及各种心理状态。

总结

该研究提出了一种创新的、基于显著性分布变化和深度学习的预测模型，为VR环境中设计动态通知提供了理论支持和实践方向。通过预测用户的注意力分布，该方法为自适应UI设计开辟了更精确的可能性，使未来VR/XR环境下的通知能够更加个性化地平衡显著性与非干扰性的需求。