预测在虚拟现实中发送通知的合适时机

文献标题

Predicting Opportune Moments to Deliver Notifications in Virtual Reality

文献信息

• 主题领域: 人机交互、虚拟现实、通知管理
• 关键词: 虚拟现实, 通知, 可中断性, 预测模型, 数据驱动

研究背景与问题

• 主要问题与挑战:

  • 虚拟现实（VR）的高度沉浸感可能导致用户与现实世界信息的脱节，重要信息通知的错过可能引发用户焦虑。
  • 在用户专注于 VR 活动时发送通知可能导致体验中断，降低任务表现。
  • 找到“合适的时机”发送通知可以减轻中断的消极影响，这是一个有待研究的方向，尤其是在 VR 中这一问题几乎没有被系统性研究。

• 研究重要性:

  • 在商业 VR 设备日益普及的背景下，实时通知的需求增加，而其 disruptiveness 和用户体验之间的平衡至关重要。
  • 当前在移动设备或桌面环境下的中断性管理研究的结果，可能并不直接适用于强感官沉浸的 VR 环境。

• 研究动机与相关工作:

  • 过去的研究探讨了中断对工作流任务的多种影响，提出了基于传感器数据的中断预测模型。
  • 然而，在 VR 环境中预测通知时机尚无深入研究，而 VR 的沉浸特点对用户中断感受的影响可能独具特性。

解决方案

• 方法或解决方案概述:

  • 利用 VR 设备中的传感器数据（如头戴式显示器、控制器、眼动追踪器）设计深度学习模型预测合适的通知时机。
  • 除实时传感器数据外，额外考虑用户所处的 VR 活动类型和用户参与感的数据。
  • 研究不同特性场景下传感器对预测性能的贡献，并检验个性化模型与通用模型的表现差异。

• 创新点:

  • 首次在 VR 环境中引入预测通知“合适时机”的研究。
  • 结合多种传感器数据与活动上下文信息以提高预测准确度。
  • 探讨活动种类、用户是否高参与等上下文信息对通知时机预测的增益效应。

• 技术与实施步骤:

  1. 数据采集：

     • 招募 20 名参与者进行多场 VR 实验，结合传感器数据与用户标注数据。
     • 使用 HTC Vive Pro Eye 设备记录不同 VR 场景下用户的动作、眼动数据。

  2. 数据标注：

     • 回溯标记法：参与者经历每个 VR 会话后回顾其体验，标记通知时机的合适性（opportune/inopportune）。
     • 根据任务参与感（易集中/分散）额外标记 engagement 数据作为辅助信息。

  3. 模型开发：

     • 设计基于深度学习时间序列模型（包括 1D-CNN、LSTM 和 MLSTM-FCN）。
     • 使用前 5 秒的历史传感器数据预测用户下一时刻是否适合接受通知。

  4. 模型评估：

     • 量化个性化模型与通用模型的性能差异。
     • 分析不同传感器对模型性能的贡献，评估加入活动与用户参与信息后的性能提升。

研究成果

• 具体成果:

  • 使用仅基于传感器数据的模型：
    • 个性化模型的性能：72% 准确回召率（recall），71% 精准率（precision），0.86 AUROC。
    • 通用模型的性能：53%-59% recall，60% precision，0.73 AUROC。
  • 加入活动类型与用户参与数据后：
    • 个性化模型性能提升至 81% recall，82% precision，0.93 AUROC。
    • 通用模型有所改善（提升至 70% precision，0.81 AUROC）。

• 与现有解决方案的优势:

  • 结合 VR 设备的多维运动传感器和上下文信息预测，使模型具有更高的时间序列洞察力和适用性。
  • 转向以个性化模型为主，显著提升预测准确度，有效减少可能造成干扰的通知错误。

• 实验结果:

  • 各传感器（头显、控制器、眼动）对不同类型 VR 任务的中断预测有不同权重。
  • 复杂活动中使用多种传感器数据最能捕捉用户动态状态变化，预测效果最佳。
  • 活动条件（如游戏难度）和用户主观参与感在提升模型表现上至关重要。

• 局限性与未来方向:

  • 样本局限性:

    • 数据采样偏向年轻人群，导致其代表性有限。
    • 实验 VR 活动的多样性不足，无法完全涵盖真实 VR 局景。

  • 环境限制:

    • 数据收集在实验室进行，可能与真实场景中用户通知接收感受有所偏差。

  • 未来研究方向:

    • 引入更广泛 VR 活动种类、通知展示方式（视觉、听觉、触觉）研究对用户体验的影响。
    • 在实际使用环境中验证模型预测性能，探索长期用户数据与个性化学习的结合效果。
    • 考虑更多生物特征数据（如 EEG、脉搏）以及计算机视觉特性，进一步提升模型预测能力。