利用用户相似性估计缺失的情绪自我报告：多任务学习方法

文献标题

Towards Estimating Missing Emotion Self-reports Leveraging User Similarity: A Multi-task Learning Approach

文献信息

• 主题领域: 情感计算，用户行为建模，多任务学习
• 关键词: Experience Sampling Method (ESM), Emotion self-report, Multi-task learning, Missing data, User similarity, Data collection, Neural networks, Emotion inference

研究背景与问题

• 发现的问题或挑战: 在以体验抽样方法（ESM）为基础的情感自报告研究中，由于研究时间长且繁琐，参与者往往中途退出。这种非计划的流失导致数据量和数据质量的下降，影响研究结果的可靠性和适用性。
• 问题的重要性: 情感自报告是情感推断模型的核心数据来源，数据的缺失会增加研究的重复成本，并降低模型在实际任务中的表现。
• 研究动机和相关工作:
  • 防止流失的方法包括提供奖励或激励，但仍无法完全避免用户流失。
  • 针对流失用户修补数据的工作多依赖额外感测数据（如传感器），但这可能面临隐私问题或资源开销。
  • 当前研究尚缺乏一种仅依据用户相似性，通过自报告数据的共享来估算缺失情感报告的通用方法。

解决方案

• 提出的解决方案: 提出了一种基于多任务学习（MTL）的框架——MUSE，利用不同用户之间的情感自报告相似性来估算退出用户的缺失自报告。
• 创新之处:
  • 不依赖传感器数据，仅基于用户的自报告相似性。
  • 量化用户情感报告行为特征（如情感状态转移概率、情感持续时间、情感重复长度）。
  • 应用多任务学习，通过共享用户之间的数据提升模型精准度。
• 实施步骤与关键技术:
  1. 定义情感报告行为的三个特性：情感状态转移概率、情感持续时间和情感重复长度。
  2. 使用这些特性描述每个用户的情感报告模式，并通过基于神经网络的多任务学习模型进行建模。
  3. 通过共享跨用户的任务相关数据，减少对单个用户数据量的要求。
  4. 利用实际参与者数据进行模型训练和验证，预测缺失的情感自报告。

研究成果

• 具体成果:
  • 在两个经历研究中评估了MUSE，分别使用24名学生（6周）和30名多样化背景的参与者（8周）的数据。
  • 模型在同质性数据集上达到平均AUCROC 84%，在异质性数据集上达到82%。
  • 蒙特卡洛抽样表明，估算出的自报告能够很好地支持情感推断等下游任务。
• 与现有解决方案的优势:
  • 相较依赖传感器的策略，MUSE不依赖传感器数据，无隐私或资源开销问题。
  • 多任务学习利用相似用户的数据共享能显著改善模型性能。
• 实验或评估结果:
  • 模型在训练数据覆盖率达到50%的情况下即有良好表现（AUCROC接近80%）。
  • 在实际任务（如基于手机键盘交互的情感检测）中，用估算数据代替原始数据并未显著降低性能。
  • 异构数据集的良好表现表明，MUSE具有较强的适应性和推广性。
• 局限性与未来方向:
  • 对于较短实验时间或用户响应率低的情况下，模型性能可能有所下降。
  • 当前框架主要面向完全退出的用户，对间歇性缺失（例如部分时间无响应）的场景还有改进空间。
  • 可扩展性和推广性需在更大规模、更长时间的实验中进一步验证。