行动前的预期：基于EEG的混合现实自适应视线交互隐式意图检测

文献标题

Anticipation Before Action: EEG-Based Implicit Intent Detection for Adaptive Gaze Interaction in Mixed Reality

出版信息

• 主题领域: 基于EEG的意图检测以改善混合现实（MR）中的注视交互。
• 关键词: EEG, SPN, 混合现实, 注视交互, 意图检测, 深度学习, 自适应界面, 米达斯触碰问题, 预期不确定性, 神经解码。

背景与问题

• 问题/挑战: 混合现实界面难以区分视觉注意力和有意交互，导致“米达斯触碰问题”，即注视触发了非预期的命令。
• 意义: 解决这一问题对提高MR系统的可用性、可靠性和用户体验至关重要，从而实现自然直观的交互。
• 动机与相关工作: 以往的解决方案依赖显式确认信号（如手势、语音）或多模态方法，这可能导致疲劳或认知负担。脑机接口（BCI）在通过EEG信号检测意图方面显示出潜力，特别是刺激前负波（SPN），但之前的研究局限于控制环境，且未探索SPN在真实MR任务中如何受意图和反馈调节。

解决方案

• 提出的方法: 将SPN作为注视驱动的MR交互中预期不确定性和意图的隐式神经标记，并结合深度学习模型进行意图分类。
• 创新点:
  1. 证明SPN在生态有效的MR任务中是预期处理的稳健标记。
  2. 重新定义SPN为反映预期不确定性而非运动准备。
  3. 使用深度学习模型成功解码用户意图（选择 vs. 观察），在个体依赖设置中准确率高达97%。
  4. 对自适应MR设计的启示，包括动态注视时间调整、不确定性相关确认和个性化交互配置文件。
• 过程与关键技术:
  • 进行2 × 2因子实验，操控意图（选择 vs. 观察）和反馈（有 vs. 无）。
  • 在三个MR场景（应用启动器、文档编辑器、视频播放器）中记录28名参与者的EEG和眼动数据。
  • 使用ERP方法和线性混合模型分析SPN幅度。
  • 应用深度学习模型（如EEGInceptionERP、EEGResNet）进行个体依赖和个体独立的意图分类。
  • 使用LIME分析神经网络决策的可解释性。

结果

• 具体发现:
  • 在观察–无反馈条件下，SPN幅度最强，表明预期不确定性增加。
  • 意图和反馈显著交互：反馈在观察过程中降低了SPN，但对选择影响较小。
  • 个体依赖分类的准确率范围为75%至97%，其中EEGInceptionERP表现最佳（平均准确率78.4%）。
  • 个体独立分类的准确率较低（最佳模型为Deep4Net，平均准确率69.2%）。
• 相较基线的优势:
  • 基于SPN的方法避免了对显式确认信号的依赖，减少了认知和身体疲劳。
  • 深度学习模型在个体依赖设置中表现出稳健的分类性能。
• 实验/评估:
  • 从64个电极记录EEG数据，分析-750至0毫秒窗口内的SPN幅度。
  • 任务包括基于注视交互的真实MR场景。
  • 使用个体依赖和个体独立数据集评估深度学习模型的意图分类性能。
• 局限性与未来工作:
  • 未测试对意外反馈或错误相关电位的响应。
  • 预期不确定性与意图之间的模糊性需要进一步研究。
  • 实时实现和混合个体依赖/独立模型需验证。
  • 未来工作应将SPN分析与多模态测量（如瞳孔大小、电皮肤活动）集成，并扩展到多步骤MR任务。

总结

本研究表明，SPN是注视驱动的MR交互中预期不确定性的可靠标记，并受意图和反馈调节。研究重新定义了SPN为反映不确定性而非运动准备，并表明用户意图可通过EEG信号结合深度学习解码，在个体依赖设置中准确率高达97%。这些发现对自适应MR界面设计具有直接意义，可实现动态注视时间调整、不确定性敏感的确认策略以及个性化交互配置文件。未来工作应聚焦于实时实现、多模态集成以及混合分类方法的更广泛应用。