VibEmoji：探索社交沟通中用户创作的多模式表情符

文献标题

VibEmoji: Exploring User-authoring Multi-modal Emoticons in Social Communication

文献信息

• 主题领域: 人机交互（HCI）与情感沟通技术
• 关键词: 社交通信, 情感表达, 表情符号, 触觉反馈, 动画, 多模态交互, 移动界面

研究背景与问题

• 研究发现的问题或挑战:

  • 尽管静态表情符号（例如emoji）在在线社交通信中已变得非常流行，它们在许多情感表达需求中已不能完全满足人们的期望。
  • 越来越多的社交应用开始支持带有动画或触觉反馈的多模态表情符号，但对用户如何创建、分享和体验这些表情符号的研究尚属稀缺。
  • 当前设计限制了用户的自由，表情符号、动画效果和触觉反馈通常是固定组合的，不能根据用户需要随意调整或创造新意义。

• 问题的重要性:

  • 表情符号是一种跨文化的视觉语言，能够有效弥补语言的不足，表达情感和非语言反应，因此在当代通信中至关重要。
  • 多模态表情符号有潜力创造更多情感丰富的互动方式，增强用户之间的共鸣。

• 研究动机与相关工作:

  • 研究的动机基于一种趋势：即用户对更富个性化、更具情感表达能力的表情符号的需求。
  • 本文通过详细分析当前多模态表情符号的不足，提出一个新设计来解决上述问题。

解决方案

• 提出的解决方案:

  • 设计并实现了VibEmoji系统，这是一个支持用户即时创建和传播多模态表情符号的移动消息应用。
  • VibEmoji允许用户自由组合不同的静态表情符号、动画以及触觉反馈，提供了个性化表达和即时创建的能力。

• 解决方案的创新之处:

  • 自由创作: 用户可以动态地从三个独立的多模态元素库（表情符号、动画、振动模式）选择并结合，打破了固定组合的限制。
  • 非侵入式推荐: 系统基于用户之前的使用模式以及情感相关性提供推荐，但不会自动化决策，保证用户的创造自由。
  • 即兴创作能力: 不同于需要预定义内容的其他系统，VibEmoji支持用户在聊天过程中即刻创作符合实时情感需求的表情符号。

• 关键技术与实施步骤:

  • 使用丰富的Apple表情符号、Kineticons动画库和VibViz触觉反馈库作为构建模块。
  • 基于情感相关性（valence-arousal模型）和历史使用频率开发推荐算法。
  • 构建移动应用前端和后端通信系统，提供实时消息传递与Emoticon生成功能。

研究成果

• 取得的具体成果:

  • 创建了一个功能完善的多模态表情符号生成系统VibEmoji，用户能够通过该系统实现多元化情感表达。
  • 通过四周的现场使用研究，收集了实际使用VibEmoji的丰富经验。
  • 总结出多模态表情符号在增强聊天乐趣、提高参与度、情感准确性和表达广度方面的独特价值。

• 与现有解决方案的比较优势:

  • VibEmoji允许用户动态地制作表情符号，而不仅限于事先准备好的选项。
  • 动画和振动组件的结合拓展了表情的交流维度，使得对情感的表达更细腻。
  • 非侵入式推荐设计确保了用户体验的灵活性和使用的愉悦感。

• 实验与评估结果:

  • 调查表明，用户使用VibEmoji后普遍认为其提升了交流的趣味性、参与感和情感表达的丰富性。
  • 数据分析显示，参与者平均每发送3条文本消息，就会发送1条多模态表情符号。
  • 用户反馈突出强调了触觉模式的“声音类似性”和动画的“身体语言相似性”。

• 局限性与未来方向:

  • 局限性: 系统目前未支持自定义表情符号或动态导入新素材；数据主要局限于年轻用户群体。
  • 未来方向:
    • 拓展用户的定制自由，例如支持用户上传新的表情符号、制作新的动画和触觉模式。
    • 探索多模态表情符号在更广泛应用场景（如智能家居、社交机器人）中的潜力。
    • 进一步优化推荐算法，引入群体协作过滤技术。

总结

这篇研究通过设计、实现并评估了一个创新性的多模态表情符号系统，不仅为用户的日常情感交流赋能，还拓展了人机交互领域内多模态通信的研究视角，为未来设计提供了清晰的方向和实践依据。