EmoWear: 探索智能手表上语音消息交互的情感提示

文献标题

EmoWear: Exploring Emotional Teasers for Voice Message Interaction on Smartwatches

文献信息

• 主题领域: 人机交互（HCI）和可穿戴技术，探索情感化语音消息交互设计
• 关键词: 情感, 智能手表, 语音消息, 动画, 情感预告

研究背景与问题

• 问题与挑战:

  • 语音消息由于其非视觉化特性，接收者在完全播放消息前无法预测情感基调，限制了预检阶段的共享情感体验。
  • 传统方法（如颜色编码）在表示情感时存在不足，如主观解读误差和颜色可访问性问题。
  • 当前研究很少探索语音消息的情感“预告”功能，即在不披露内容的情况下提供情感信息。

• 重要性:

  • 随着语音消息使用的激增（如WhatsApp每天发送超过70亿条语音消息），优化语音消息的情感传达能够提升用户沟通体验。
  • 智能手表由于屏幕限制和手动交互的不便，更需要适合其环境的情感设计。

• 相关工作和研究动机:

  • 相关工作如EmoBalloon系统和颜色编码利用消息气泡来增强情感表达，但这些工作局限于文本而非语音消息。
  • 动画在智能手表交互中被认为是一种直观且有效的情感传达方式，如Animo和Significant Otter研究结合生物数据传达情感。
  • 本研究受上述作品启发，尝试将动画与消息气泡结合，探索语音消息的情感化交互潜力。

解决方案

• 解决方案:

  • 提出一个情感化语音消息系统“EmoWear”，通过智能手表为语音消息添加30种动画情感预告气泡。
  • 使用语音消息的语义和声学特征分析来推荐最相关的情感类别，并优化用户的选择过程。

• 创新点:

  • 结合动画和消息气泡的表达形式，突破了单一颜色编码的局限。
  • 提供发送者情感识别辅助系统，通过智能优先排序简化用户操作，同时保留多样化选择。
  • 动画设计基于Ekman的基础情感理论，并引入丰富的视觉动效。

• 实施步骤与技术:

  1. 前端界面设计: 开发Android Wear OS应用程序，支持语音消息录制和情感动画气泡预览/选择。
  2. 后端算法开发: 构建融合模型，结合语音（MFCC特征）和文本（BERT模型）数据进行情感分类。
  3. 消息交互流程: 发送者录制音频后系统生成推荐情感类别，选择动画气泡后发送消息；接收者看到动画气泡并点击播放语音。

研究成果

• 具体成果:

  • 实验比较表明，“EmoWear”在帮助接收者预测发送者情感、传达情感，以及提升整体沟通体验上明显优于对照系统（使用颜色编码气泡）。
  • 动画气泡被认为直观、生动，并丰富了情感表达的多样性和细腻程度。参与者对系统使用的意愿和趣味性均有积极反馈。

• 优势:

  • 动画设计更符合用户表达需求，能捕捉更复杂、更细腻的情感。
  • 新的推荐机制在简化选择操作时保持自由度，显著提升用户体验。
  • 增强了非语言信息传递和沟通的情感联结（如提高亲密感）。

• 实验或评估结果:

  • EmoWear在15项体验质量指标中有13项显著优于对照组，参与者表示愿意将该系统用于日常与家人、朋友或伴侣的沟通。
  • 定性访谈进一步揭示了情感预告在以下方面的价值：支持情感预测、增强沟通趣味性、帮助情感调节、传达亲密感。

• 局限性与未来方向:

  • 局限性:
    • 实验环境为实验室场景，缺乏真实世界的生态使用数据。
    • 后端采用云端推荐机制可能引发隐私问题，且训练数据可能因标签不平衡存在偏差。
  • 未来方向:
    • 积极探索更长周期的实地测试以验证生态适用性。
    • 扩展情感选项，探索多情感变化的动态表达。
    • 引入用户自定义或联合定制动效，增强互动的个人化和亲密感。
    • 结合其他信息通道（如声音和触觉）以及生物信号，实现更真实、更丰富的情感体验。

以上文献为情感化智能手表交互设计提供了创新性探索与实践，不仅增强了语音消息的沟通深度，还为未来的HCI研究绘制了有意义的蓝图。