成功与失败的信号：任务复杂性下人类表现的早期预测与生理特征

文献标题

Signals of Success and Struggle: Early Prediction and Physiological Signatures of Human Performance across Task Complexity

出版信息

• 主题领域: 使用生理信号在复杂性递增的环境中对人类任务表现进行早期预测。
• 关键词: 人类表现、生理信号、眼部特征、心脏特征、任务复杂性、预测模型、多模态融合、眼动追踪、心率变异性、情感体验。

背景与问题

• 问题/挑战: 现有的表现预测模型主要依赖于行为指标，缺乏对任务表现背后认知和生理过程的洞察。在任务复杂性递增的情况下，眼部和心脏信号的早期预测潜力尚未得到充分探索。
• 意义: 预测表现结果可以实现及时干预，改善任务连续性，并提升高风险或以参与度为驱动的环境中的用户体验。
• 动机与相关工作: 先前的研究已证明使用行为和生理指标进行表现预测的可行性，但这些方法通常关注短期预测或瞬时状态。眼部和心脏信号已被用于研究工作负荷、注意力和压力，但在复杂性递增的情况下，这些信号的联合预测潜力尚不明确。

解决方案

• 提出的方法: 提出一种多模态预测框架，利用早期的眼部和心脏信号预测在复杂性递增的游戏环境中的后期表现。
• 创新点:
  1. 证明了早期会话中的眼部和心脏信号对复杂性递增情况下后期表现的预测价值。
  2. 识别了高表现组和低表现组在视觉和自主神经模式上的系统性差异。
  3. 融合主观情感体验以为生理模式提供背景化解释。
• 流程与关键技术:
  • 进行了一项包含35名参与者的被试内实验，参与者玩一款卡牌构建游戏（Slay the Spire）。
  • 使用Tobii Pro Fusion收集眼部数据（如扫视、注视分布），使用Empatica EmbracePlus收集心脏数据（如心率、HRV）。
  • 从低复杂性会话中提取特征，利用监督分类器（CatBoost, XGBoost, Linear SVM）和决策级融合预测高复杂性会话中的表现。
  • 使用留一被试交叉验证（LOSO）评估模型。

结果

• 具体发现:
  • 融合的眼部-心脏模型实现了0.86的平衡准确率，优于单模态模型（仅眼部：0.83；仅心脏：0.70）。
  • 关键预测特征包括分配到任务相关区域的注视、扫视动态和心率。
  • 高表现参与者在任务复杂性增加时表现出目标明确的注视、高效的视觉采样和稳定的心脏激活。
• 相较基线的优势:
  • 融合模型在低表现参与者的分类上优于仅眼部和仅心脏模型。
  • 决策级融合通过利用两种模态的互补信息提升了性能。
• 实验/评估:
  • 参与者完成了两次游戏会话（低复杂性和高复杂性），记录生理信号并收集自我报告的情感评分。
  • 使用平衡准确率、宏F1和Matthew相关系数（MCC）等指标评估模型。
• 局限性与未来工作:
  • 仅限于单一游戏情境，研究结果可能无法推广到其他交互任务。
  • 心脏数据采集受限于可穿戴设备的低采样率，限制了HRV的可靠性。
  • 缺乏任务前基线，无法区分任务诱发的反应与个体特质。
  • 样本量较小，未来研究应包括更大且更多样化的群体。

总结

本研究表明，在游戏环境中，早期的眼部和心脏信号可以预测复杂性递增情况下的后期表现。融合眼部和心脏特征的模型实现了最高的预测准确率，其中注视分配、扫视动态和心率是关键贡献因素。高表现参与者表现出战略性的视觉行为和稳定的自主神经激活，而低表现参与者的模式则较低效。主观情感评分揭示了两组在愉悦度和支配感上的差异。这些发现突出了多模态生理信号在主动表现预测中的潜力，并暗示了其在自适应系统、培训和安全关键任务中的应用前景。未来工作将探索跨情境的普适性，改进心脏测量方法，并研究个体在失败轨迹中的差异。