CASES：一种用于理解人们阅读方式的认知感知智能眼镜系统

阅读过程吸引了数十年的科学研究。该领域的工作主要侧重于使用眼动模式来揭示阅读时的认知过程。然而，眼动模式存在分辨率有限、抖动噪声和认知偏见等局限性，导致追踪认知阅读状态的准确性有限。此外，仅使用顺序眼动数据会忽略文本的语言结构，削弱了在阅读时为认知状态提供语义解释的能力。受到文本语义上下文对人类认知阅读过程影响的启发，本研究使用阅读时的语义上下文和视觉注意力来更准确地预测认知状态的时间序列。为此，我们提出了认知感知智能眼镜系统（CASES），它融合了阅读时的语义上下文和视觉注意力模式。这两种特征模态在时间上对齐，并被馈送到基于时间卷积网络的多任务分类深度模型中，以自动估计并进一步语义解释阅读状态时间序列。CASES 实现于眼镜中，使用时不会中断阅读过程，从而减少主观偏见。此外，视觉和语义信息之间的实时关联使得视觉注意力与语义上下文之间的交互能够更好地被解释和说明。对25名受试者的消融研究表明，与仅使用眼动追踪相比，CASES将句子阅读状态估计准确率提高了20.90%。使用CASES，我们开发了一个交互式阅读辅助系统。13项实地研究的3.5个月部署使人们能够进行与阅读研究相关的多项观察。特别观察到个人视觉历史如何在不同文本粒度上与语义上下文交互。此外，CASES能够在读者遇到处理困难时提供及时干预，从而促进对阅读认知过程的自我意识，并帮助养成更有效的阅读习惯。