手-物交互的多模态情绪识别

文献标题

Multimodal Emotion Recognition of Hand-Object Interaction

文献信息

• 主题领域: 多模态手部与物体交互中的情感识别
• 关键词: 情感触摸, 情绪分类, 手-物体交互, 多模态数据, 人机交互

研究背景与问题

• 发现的问题或挑战:
  • 传统的触摸交互研究通常集中在人与人之间或人与机器人之间的社交触摸技术，但鲜有研究关注人操作硬性物体时的触摸与情感关系。
  • 如何从自然的手部与物体交互中推断人的情感状态是一个待解决的问题。
• 重要性:
  • 情感识别对于开发智能用户界面、娱乐、康复及无法通过语言进行交流的人群的沟通具有重要意义。
  • 当前的情感交互技术需要增加对手-物体交互中自然情感表达的处理能力。
• 研究动机与相关工作:
  • 文章提出基于触摸和运动数据来分类人类感情状态，这些数据是通过一个专门设计的设备在自然交互场景中采集的。
  • 与之前研究中依赖符号化的触摸手势或软物体压力数据的情感识别系统不同，此研究聚焦于硬物体的自然交互。

解决方案

• 提出的方法或解决方案:
  • 开发了一款设备——iCube，一个嵌入有触摸传感器和加速度计的5 cm立方体。通过该设备采集自然手部动作中的触摸和运动数据。
  • 设计了一组高层次的人工特征，用来描述触觉和运动数据，涵盖触摸密度、变化和旋转等指标。
  • 对这些特征进行情绪分类，目标识别四种情感：愤怒、悲伤、兴奋和感激。
• 解决方案的创新点:
  • 首次使用硬物体的触觉和运动数据为基础进行情感分类。
  • 使用了一个语义中性且形状简单（类似日常常见物体）的物体以减少外部环境影响。
  • 将触觉和运动数据结合，用于多模态情感识别。
• 实施步骤及关键技术:
  1. 使用iCube采集触觉和运动数据。
  2. 提取17项人工设计特征，包括触摸密度、变化率、主要触板等。
  3. 通过基于支持向量机（SVM）和多核学习（LMKL）的分类算法进行情感识别。
  4. 使用留一交叉验证评估模型性能。

研究成果

• 具体成果:
  • 对触觉和运动数据提取的12个特征发现显著的情绪影响，表明特征能够捕捉情感状态的变异。
  • 分类实验中使用多核支持向量机（LMKL-SVM）的精度达到0.75（四类情感），表明情感识别高于随机猜测的可能性。
• 与现有解决方案相比的优势:
  • 不依赖压力数据，从而减少设备复杂性与传输的额外数据。
  • 使用多模态（触觉与运动）数据组合显著提升分类性能。
  • iCube的简单形态和语义中性设计有助于实现自然交互，提高用户适应性。
• 实验或评估结果:
  • 愤怒、兴奋情绪下触摸面积更大，旋转动作更多而时间更短；悲伤情绪下交互动作更慢，触摸变化更少，交互时间更长。
  • 情绪分类实验结果表明，怒与悲情绪辨别率较高，但兴奋与感激可能更易混淆。
• 局限性与未来方向:
  • 数据集样本量有限，需扩大样本收集以提高分类器的泛化能力。
  • 计划研究不同形态、材质及大小物体对情感表达的影响，探讨是否能够区分情绪类型相近但有细微差异的情感（如愤怒与焦虑）。
  • 将在真实场景如游戏中收集生态数据，以研究自发性情绪交互行为。