感知问卷遗漏之处：通过用户建模理解并个性化主动式LLM支持

文献标题

Sensing What Surveys Miss: Understanding and Personalizing Proactive LLM Support by User Modeling

出版信息

• 主题领域: 调查任务中认知过载的自适应支持系统。
• 关键词: 自适应系统, 认知负荷, 主动辅助, LLMs, 用户建模, 皮电活动, 鼠标轨迹, 调查方法学, 个性化支持, 实时干预。

背景与问题

• 问题/挑战: 现有的调查系统无法检测和响应用户的实时认知状态，导致如满足化、注意力分散和数据质量下降等问题。目前的方法依赖于静态或被动的方式，无法应对用户难度的瞬时变化。
• 重要性: 解决调查中的认知过载问题可以提高数据质量、用户体验和任务表现，对教育、医疗和专业工作流等领域具有重要意义。
• 动机与相关工作: 先前的研究探索了静态个性化、被动支持和基于LLM的主动辅助，但这些系统未能动态适应个体的认知状态。生理和行为感知技术在其他领域已有应用，但在调查情境中仍未被充分研究。

解决方案

• 提出的方法: 一个结合皮电活动（EDA）和鼠标运动数据的自适应调查辅助系统，用于预测认知负荷并触发个性化的实时LLM解释。
• 创新点:
  1. 集成多模态感知（EDA和鼠标动态）以实现实时认知状态检测。
  2. 个性化分类器通过动态阈值调整与用户需求对齐。
  3. 系统性比较自适应时机策略（Aligned-Adaptive、Misaligned-Adaptive、Random-Adaptive），评估时机对用户体验和表现的影响。
• 过程与关键技术:
  • 特征选择识别了认知负荷的关键预测因子（如EDA基调水平、鼠标悬停时间）。
  • 个性化分类器通过校准数据进行微调，并通过基于规则的阈值调整动态更新。
  • 当认知负荷超过阈值时，系统提供基于LLM的辅助，允许用户选择特定文本进行解释。
  • 在一项被试内实验（N=32）中，比较了三种自适应策略在连续知识型调查任务中的表现。

结果

• 具体发现:
  • 在Aligned-Adaptive条件下，响应准确率从基线的41%提高到62%，相比之下，Misaligned-Adaptive为51%，Random-Adaptive为55%。
  • Aligned-Adaptive条件下的假阴性率最低（21%），而Misaligned-Adaptive和Random-Adaptive分别为44%和43%。
  • 参与者对Aligned-Adaptive系统的效率、可靠性和仁慈性评价最高。
  • 主观工作负荷（NASA-TLX努力值）在Aligned-Adaptive条件下最低。
• 相较基线的优势:
  • Aligned-Adaptive系统在准确率、更低的假阴性率和更好的用户体验评分方面优于Misaligned-Adaptive和Random-Adaptive系统。
  • 在Aligned-Adaptive条件下，辅助被接受的频率更高（67.6%接受率）。
• 实验/评估:
  • 采用被试内设计，测试了32名参与者在多项选择任务中使用三种自适应策略的表现。
  • 评估指标包括任务准确率、工作负荷（NASA-TLX）、用户体验（效率、可靠性、仁慈性）和系统性能（混淆矩阵、接受率）。
• 局限性与未来工作:
  • 由于实验室控制环境和任务时间较短，生态效度有限。
  • 个性化初始校准阶段存在冷启动问题。
  • 未来研究应探索实际场景中的部署、跨多样化题型的泛化能力，以及替代结果指标（如满足化、响应一致性）。

总结

本研究提出了一种自适应调查辅助系统，通过多模态感知（EDA和鼠标动态）提供个性化的实时LLM支持。在Aligned-Adaptive条件下，任务准确率显著提高，工作负荷降低，用户体验优于错位或随机时机策略。研究结果强调了主动辅助中时间精准性的关键作用，并为跨领域的自适应系统设计提供了启示。未来研究应将此方法扩展到真实场景，并探索其在教育、医疗和专业工作流中的应用。