使用隐式用户行为在虚拟现实中进行目标错误检测的多模式方法

研究背景与问题

• 问题与挑战：

  • 当前VR交互中广泛使用的点选(point-and-select)交互方式会导致用户和系统引发的错误，如选择错误或目标定位错误。
  • 尽管已有针对选择交互优化的研究存在，但这些方法未能有效处理由目标定位不准确所导致的错误。
  • 定位错误尤其在时间有限或高密度对象环境中会消耗大量用户精力和时间。

• 重要性：

  • 定位错误增加了用户的操作负担，降低了虚拟现实(VR)系统的使用效率和用户体验。
  • 能够快速检测和响应错误的智能系统可以显著改善VR交互的流畅性，提供及时反馈并降低错误纠正成本。

• 研究动机与相关工作：

  • 过去文献主要集中于利用用户的自然行为信号（如眼动）来检测选择错误，但在目标定位错误的检测领域尚未深入探索。
  • 本研究旨在通过结合用户的多模态生物行为信号（眼动和手部动态）深入理解VR中的目标定位错误，并提出能够实时检测错误的模型。

解决方案

• 主要方法或解决方案：

  • 提出了使用多模态生物信号(眼动和手部动态)分析用户行为的目标定位错误检测模型。
  • 采用时间卷积网络(Temporal Convolutional Networks, TCN)作为核心机制，结合用户的自然行为数据，实时区分正确和错误的目标定位事件。

• 创新点：

  • 不同于传统方法仅聚焦选择错误，本研究专注于目标定位的错误检测。
  • 强调了多模态数据（如结合眼动和手部动态信号）在理解和检测错误方面的优势。
  • 模型设计具备任务无关性，且可以在不同的任务条件下泛化。

• 实施步骤与关键技术：

  1. 数据采集与特征提取：
     • 从23名参与者的数据中提取与目标定位行为相关的眼动(如注视概率、注视时长等)和手部动态(如速度)特征。
     • 任务条件包括视觉高亮和视觉搜索两种，分别模拟不同的交互场景。
  2. 模型开发：
     • 利用TCN对输入窗口(-500ms到事件后500-1000ms)的多模态数据进行建模。
     • 比较不同数据输入(仅眼动、仅手部、眼动+手部)对模型性能的影响。
  3. 评估与验证：
     • 模型通过AUC-ROC指标评估其区分正确目标定位事件和错误定位事件的能力。
     • 进行了用户实验以探索模型对用户体验和错误恢复效果的影响。

研究成果

• 具体成果：

  • 提出了一种能够利用多模态生物信号实时检测目标定位错误的模型，模型在视觉高亮和视觉搜索任务中的AUC-ROC均接近0.90。
  • 模型通过结合眼动和手部动态信号能快速检测错误，在500ms内即可准确区分正确和错误事件。

• 优势对比：

  • 提升准确性： 相较于仅依赖单模态信号，结合眼动和手部动态的模型在泛化性能上表现更优，尤其是在不同任务条件下。
  • 快速检测： 模型可在错误发生后500ms内检测结果，比大多数手动纠错方式更快。
  • 提升用户体验： 用户实验表明，辅助错误检测模型的系统相比手动纠错，大幅提升了用户的错误恢复速度（减少至原来的15%）和数量（增加约25-40%）。

• 实验与评估结果：

  • 错误恢复效率： 使用模型辅助，用户错误恢复时间显著减少。例如，在视觉搜索任务中，从22.68秒缩短到3.83秒。
  • 用户反馈： 调查显示用户偏好使用带有实时错误检测模型的系统，认为其使用更轻松且物理需求更低。
  • 行为验证： 用户纠错时的眼动和手部动态（如较少注视、更快眼跳）进一步表明带模型的处理更高效。

• 局限性与未来方向：

  • 当前研究在受控环境中进行，未覆盖更广泛的交互方式（如手势滑动、物体操作）或其他错误类型。
  • 模型精度未达到100%，未来应探讨如何结合在线用户行为进行模型实时调整以减少误报。
  • 对隐私的潜在影响仍需关注，未来研究可探索更具隐私保护的信号或策略（如仅使用手部信号）。

总结而言，本研究提出了一种创新的基于多模态生物信号的目标定位错误检测框架，通过精准且实时的检测显著改善了VR系统的易用性和用户体验，为下一代智能错误感知系统设计提供了重要参考。