EmoBalloon - 使用语音气球在文本聊天中传达情感唤醒

文献标题

EmoBalloon - Conveying Emotional Arousal in Text Chats with Speech Balloons

文献信息

• 主题领域: 人机交互 (Human-Computer Interaction, HCI)
• 关键词: speech balloon, text chat, voice input, emotion, computer-mediated communication, paralinguistic cues, emotional arousal, emoticon

研究背景与问题

• 问题与挑战:

  • 现代即时通讯 (Instant Messaging, IM) 和文本聊天应用程序的使用广泛，但这些通讯方式缺乏非语言信息（如语气、表情和手势），使得发送者与接收者之间的情感表达可能不够准确。
  • 消息接收者常常难以理解发送者的情绪意图，可能导致误解或沟通障碍，例如对负面或中性情绪的错误解读。
  • 虽然现有解决方案（如表情符号、字体样式或动画文字）有所改进，但仍存在局限性——它们通常不能反映发送者真实的情绪状态。

• 问题重要性:

  • 情感交流对建立良好的社会联系和个人福祉非常重要。如何在“文本聊天”这种有限媒介中改善情感传递是一个关键挑战，特别是在减少发送者与接收者间情绪感知差异方面。

• 研究动机与相关工作:

  • 相关研究探索了通过表情符号和字体样式增强情感表达的方式，但这些方法通常不能单独传递情感强度（如情绪唤起水平）。
  • 日本漫画中的“对话气泡”已被研究与情感表现的关系，如“爆炸型”气泡可能传递高情绪唤起。
  • 作者旨在开发一种基于对话气泡生成的系统，通过将语音输入与情感唤起相关联生成相应形状的气泡，以改善文本聊天中的情感交流。

解决方案

• 方法与解决方案:

  • 提出了EmoBalloon系统，该系统使用机器学习技术从发送者的语音中自动检测情绪唤起水平，并生成匹配的“对话气泡”以增强文本消息的情感表达。
  • 使用辅助分类器生成对抗网络（Auxiliary Classifier Generative Adversarial Networks, ACGAN）进行模型训练，通过Manga109漫画数据集中的对话气泡形状提取生成训练数据。
  • 系统既支持语音输入版，也支持手动选择对话气泡版。

• 创新之处:

  • 自动化生成与情感唤起等级匹配的对话气泡，提供一种独特的非语言视觉线索。
  • 借助ACGAN，支持根据连续情感唤起值生成多样化的对话气泡图像。
  • 相较于表情符号，这种方法专注于传递“情绪唤起强度”，而非正负情绪（情绪效价）。

• 实施步骤:

  • 从Manga109数据集中提取对话气泡并对其进行情绪分析。
  • 使用Adobe Illustrator工具进行气泡形状插值，生成包含不同情绪唤起水平的气泡图像作为训练数据。
  • 构建并训练ACGAN模型，通过噪声输入生成对应情绪唤起等级的对话气泡。
  • 系统支持语音输入版和手动选择版，并通过用户实验测试其效果。

研究成果

• 具体成果:

  • 实验表明，自动生成的对话气泡能有效传递情绪唤起水平，并显著提高接收者对文本消息情绪强度的感知。
  • 与表情符号相比，EmoBalloon在减少发送者和接收者对情绪唤起感知的差异方面表现更加出色。
  • 双方对“情绪效价”（消息的正面或负面评价）的感知未受对话气泡的显著影响，这与表情符号不同。

• 与现有解决方案的优势:

  • 提高了接收者对发送者实际情绪状态的理解，同时减少了情绪感知的误差。
  • 专注于传递情绪唤起强度，形成不同于表情符号的功能定位。

• 实验或评估结果:

  • 在用户实验中，语音版EmoBalloon和手动选择版EmoBalloon均能显著增强接收者对消息情绪唤起水平的感知。
  • 手动选择版的发送者更倾向于输入情绪更强的信息，而语音版更多地作为发送者情绪状态的“反馈”工具。

• 局限性与未来方向:

  • 当前研究仅针对两种气泡形状（圆形和爆炸形），未来可扩展至其他气泡样式（如云形或波浪形）。
  • Manga109数据集以日语为主，未来研究可考虑其他语言和文化背景。
  • 可结合其他技术（如情绪字体或颜色编码的气泡）进一步优化情绪效价的传递。
  • 在自然环境下进行长期测试（如日常沟通）以验证系统的普适性与实际效果。

总结

EmoBalloon系统以情绪唤起为核心，利用语音检测和机器学习生成对应的对话气泡，为文本聊天的社会情感交流提供了新的解决方案。它为未来研究和技术实践铺平了道路，有望在提高远程沟通的情感准确性方面产生重要影响。