从野外的智能手机触摸和传感器数据预测情感状态

文献标题

Affective State Prediction from Smartphone Touch and Sensor Data in the Wild

文献信息

• 主题领域: 人机交互与情感计算
• 关键词: 情感预测, 智能手机传感器, 触屏数据, 深度学习, 数据隐私

研究背景与问题

• 作者发现了哪些问题或挑战: 智能手机作为日常载体可以收集大量用户交互数据，但如何有效利用这些数据进行用户情感状态预测以及做到隐私保护仍是研究难点。

• 为什么这个问题很重要: 情感状态的预测可以提升用户体验，在健康管理、教育学习和个性化推荐场景中具有重大应用价值。例如帮助用户缓解心理问题或通过个人情感动态优化推荐系统。

• 研究动机与相关工作: 现有情感状态预测研究多集中于实验室环境，以刺激视频或图片诱发情感进行数据收集。这些环境与真实世界的使用场景相比缺乏生态有效性。作者提出了基于真实环境手机交互数据构建情感状态预测模型的需求，特别是针对情感维度如愉悦度（valence）、唤醒度（arousal）和控制度（dominance）开展研究。

解决方案

• 作者提出了哪些方法或解决方案: 作者开发了一种情感状态分类模型，该模型通过智能手机自动记录的触屏交互和惯性传感器（陀螺仪和加速度计）数据生成二维热图，并进一步利用卷积神经网络（CNN）进行情感状态分类。

• 该解决方案的创新之处是什么:

  1. 数据采集真实环境化: 通过82名参与者为期10周的真实手机交互研究收集了大量"野外"数据（30,083个自我报告）。
  2. 隐私友好设计: 单独使用传感器数据即可达到接近触屏数据的分类精度，减少了用户数据隐私风险。
  3. 高效模型运行: 提出基于MobileNetV2的紧凑型CNN模型，可在移动设备上高效运行并实现准确预测。
  4. 个性化增强: 融入用户个性化调整，提高预测性能。

• 实施步骤是什么？使用了哪些关键技术:

  1. 数据采集：开发Android应用记录触屏和传感器数据，以及用户自我报告。
  2. 特征提取：生成二维热图（包含键入速度和传感器数据频率分布）。
  3. 模型设计：采用MobileNetV2提取热图特征，并通过全连接分类层进行三分类（低、中、高情感状态）。
  4. 模型个性化调整：使用用户个别报告微调模型，进一步提升预测性能。

研究成果

• 取得了哪些具体成果:

  1. 用触屏热图预测愉悦度、唤醒度和控制度，分别达到0.82、0.81和0.82的AUC；单独使用传感器数据达到0.79、0.83和0.81的AUC；二者结合进一步提升至0.83、0.85和0.84。
  2. 对基本情感（如快乐、悲伤、愤怒等）预测的AUC最高可达0.86，对压力预测达到0.83。

• 与现有解决方案相比，它有哪些优势:

  1. 精度高：相较于一些传统实验室研究或情感推断工作，其分类精度在真实场景下更为优异。
  2. 方法简单：以热图表示代替直接处理原始传感器数据，更直观且对设备资源更友好。
  3. 隐私保护：无需长期记录文字内容，仅采集传感器数据即可达到良好的预测性能。

• 实验或评估结果是什么:

  • 模型通过对数据集的分层交叉验证，稳健性和预测准确性均得到验证。
  • 在用户个性化调整后预测性能提升最多可达+0.07 AUC。

• 局限性与未来方向:

  1. 局限性:

     • 模型性能受限于特定参与者群体（主要是年轻学生，难以代表普遍人群）。
     • 未处理完全无键入情况下（如观看视频）情感状态的预测。
     • 运行时间评估基于高性能计算环境，需进一步优化以适配手机硬件。

  2. 未来方向:

     • 探索基于时间序列的数据无缝融合，例如长短期记忆网络（LSTM）。
     • 扩展热图为三维特征以捕捉更复杂的运动关系。
     • 集成上下文信息如环境光照、应用类型进一步提升模型表现。
     • 在更广泛的人群中验证模型性能并扩展研究领域（如人格特质相关预测）。