整合眼动与鼠标数据：基于联合交叉注意力融合网络识别电子学习中学生行为

后疫情时代，电子学习已成为不可或缺的教育模式，但这种模式使学生难以保持学习投入，缺乏适当的活动监控。我们的工作探索了一种有前景的解决方案，结合眼动和鼠标数据来识别学生行为，从而促进电子学习中的活动监控和分析。我们首先调查了当地大学的200名学生，发现与视频监控相比，学生对眼动追踪器和鼠标日志记录器的接受度更高。我们设计了八种学生的常规数字活动来收集多模态数据集，并分析各种活动中眼动和鼠标之间的模式和相关性。我们提出的联合交叉注意力融合网络是一种多模态活动识别框架，通过交叉注意力机制整合跨模态表示，并整合表征眼动-鼠标协调的联合特征，利用眼动-鼠标关系来提高分类性能。评估结果表明，我们的方法在预测8类活动时可达到94.87%的F1分数，比单独使用眼动或鼠标数据至少提高7.44%。这项研究为智能教育系统中监控学生参与度提供了新的可能性，也提出了一种在各种普适计算环境中融合感知与行为模态的有前景的策略。