RageSense：利用声学传感与基于大语言模型的干预实现移动游戏情绪调节

文献标题

RageSense: Leveraging Acoustic Sensing and LLM-Based Intervention for Emotion Regulation in Mobile Gaming

出版信息

• 主题领域: 利用声学感知和基于人工智能的干预技术进行移动游戏中的情绪检测与调节。
• 关键词: 情绪识别，效价-唤醒，声学感知，移动游戏，大型语言模型，干预系统，超声波感知，游戏体验，情绪调节，隐私友好技术。

背景与问题

• 问题/挑战: 现有的情绪识别方法依赖于侵入性技术，如摄像头或可穿戴设备，在动态游戏环境中面临挑战，且无法为愤怒或挫败等负面情绪提供及时、个性化的干预。
• 重要性: 游戏中的负面情绪若未能得到调节，可能导致强迫性游戏行为、游戏成瘾和网络欺凌等问题，凸显了有效情绪调节系统的必要性。
• 动机与相关工作: 先前研究探索了基于生理和行为的情绪识别方法，但这些方法存在隐私问题、环境限制，且缺乏实时适应性。声学感知在连续效价-唤醒动态检测方面显示出潜力，但在游戏情境中的应用尚未得到充分探索。

解决方案

• 提出的方法: RageSense 系统结合近超声波声学感知和大型语言模型（LLM）驱动的干预技术，用于检测和调节移动游戏中的玩家情绪。
• 创新点:
  1. 使用声学频谱图进行连续效价-唤醒估计，并通过 IMU 辅助过滤抑制运动伪影。
  2. 基于实时游戏内容和情绪状态，由 LLM 生成个性化、情境感知的干预。
  3. 通过全面的实地评估，证明了其在游戏过程中情绪调节的有效性。
• 流程与关键技术:
  • 声学感知通过智能手机扬声器和麦克风发射和接收的超声波信号捕捉面部肌肉运动。
  • IMU 数据过滤游戏过程中手势引起的运动噪声。
  • 混合稀疏 Transformer + LSTM 模型将声学特征映射到效价-唤醒空间。
  • LLM 使用游戏截图和情绪轨迹生成具有共情能力的情境敏感干预信息。
  • 干预以不干扰用户的屏幕覆盖形式呈现。

结果

• 具体发现:
  • RageSense 在效价的和谐相关系数（CCC）为 0.6115，唤醒为 0.6215，综合 PVA 为 0.6165，优于其他模型。
  • 干预延迟在测试的智能手机中范围为 864 毫秒到 928 毫秒，确保了实时反馈。
  • 电池消耗极低，游戏过程中仅增加了 1.60% 的电量消耗。
• 相较基线的优势:
  • RageSense 的干预显著提高了效价并降低了唤醒，与预定义文本和随机干预相比效果更佳。
  • 个性化干预在用户满意度、情境相关性和时机适宜性方面评分更高。
• 实验/评估:
  • 研究 1 使用 20 名参与者和多种游戏类型验证了基于声学的情绪检测准确性。
  • 研究 2 涉及 53 名参与者，进行为期三周的实地研究，比较不同干预方法，显示个性化干预在情绪调节和用户偏好方面表现更优。
  • 稳健性测试证实了系统在嘈杂环境、多样化用户特征和不同智能手机型号下的稳定性。
• 局限性与未来工作:
  • 长期情绪调节效果有限；未来研究应探索更长的使用周期。
  • 在 MOBA 等快节奏游戏中效果较差；应研究替代干预方式（如触觉提示）。
  • 涉及情感数据和超声波反射的隐私风险需要进一步最小化和研究。

总结

RageSense 引入了一种隐私友好、实时的移动游戏情绪检测与调节系统，结合超声波声学感知和 LLM 生成的干预技术。该系统在效价-唤醒估计中表现出高准确性，并提供个性化、情境感知的情绪支持，显著改善了玩家的情绪状态和游戏体验。实地研究证实了其在减少挫败感和提升游戏体验方面的有效性，特别是在节奏较慢的游戏中。尽管在长期情绪调节和快节奏游戏情境中仍面临挑战，RageSense 展现了在交互环境中实际应用的强大潜力。