触觉情感：结合触觉的多模式情感字幕可提高聋人和听力障碍观众的故事参与度

研究背景与问题

• 作者发现了哪些问题或挑战？
  作者注意到当前为聋人和听力障碍人士设计的字幕系统存在限制，特别是在传达讲话者情绪方面。现有研究表明，视觉线索可以有效传达情绪的正负性（情绪的愉悦性或"valence"），但在传达情绪的强度（"arousal"）方面效果有限。另外，完全依赖视觉线索可能无法满足用户需求，因为听觉缺失的用户需要能够感知更全面的情绪信息，以改进他们的视频观看体验。

• 为什么这个问题很重要？
  对聋人和听力障碍用户而言，字幕是他们理解语音内容的核心工具，也是学习和娱乐的主要方式之一。通过改善字幕传达非语言信息（如情绪）的能力，可以显著提升这类用户的叙述体验和整体参与感。

• 研究动机与相关工作
  研究基于之前的工作发现，通过字体颜色表征情绪的正负性相对有效，但无法清晰传递情绪强度。作者假设，仅依赖视觉方式可能对传达情绪强度并不理想，因此提出结合触觉反馈（通过可穿戴设备）的方法，从而增强情绪信息的传递。这种跨模式设计有助于更好地满足多样化用户的需求。

解决方案

• 作者提出了哪些方法或解决方案？
  作者设计了一种创新的多模态字幕系统，结合视觉和触觉线索以传递讲话者的情绪。具体来说，该系统通过视觉方式传递情绪的正负性，而通过触觉震动（由佩戴于腕部的设备提供）传递情绪的强度。

• 该解决方案的创新之处是什么？

  • 引入触觉反馈作为补充信道传递情绪强度信息，这是当前字幕设计中的全新尝试。
  • 对振动模式和频率的设计进行了详细评估，以优化触觉设计的效果及用户舒适度。
  • 将触觉与视觉线索整合，展示出跨模态信息传递的潜力。

• 实施步骤是什么？使用了哪些关键技术？

  1. 字幕生成：使用开源工具（如OpenAI的Whisper模型）生成基于时间标记的字幕，并通过情绪识别工具向每个单词添加情绪的愉悦性和强度元数据。
  2. 触觉反馈设计：设计六种触觉模式，结合不同的节奏（连续震动、单短脉冲、多短脉冲）和频率（75Hz和250Hz），并通过实验选择用户偏好的设置。
  3. 视觉线索设计：对字幕视觉样式进行调整，包括字体颜色（传递愉悦性）和字体粗细（传递强度）。
  4. 系统实现：通过基于ChucK语言编写的脚本生成与文字情绪对应的触觉信号，并同步到可穿戴设备。
  5. 用户测试：分别开展两项研究评估各模式的用户偏好和叙述参与度。

研究成果

• 取得了哪些具体成果？

  • 研究1：发现用户最偏好的触觉模式为低频（75Hz）的单短脉冲模式。这种设置既能有效传递情绪强度，又在用户舒适度方面表现较好。
  • 研究2：组合视觉和触觉线索的字幕方式显著提升了聋人和听力障碍用户的叙述参与度，尤其在与传统普通字幕和仅视觉情绪字幕相比时表现更优。

• 与现有解决方案相比，它有哪些优势？

  • 跨模态设计在传递复杂情绪方面具有显著优势，减少了单一视觉或听觉信道可能引发的信息缺失。
  • 用户偏好的触觉模式显著减少了常见的视觉干扰问题，同时增加了情绪变化的传递效果。
  • 实验结果表明，结合触觉的字幕设计可以改善用户与叙述内容的情感连接和沉浸感。

• 实验或评估结果是什么？
  研究发现：

  • 结合触觉与视觉的字幕方式（c4V+H）在"叙述理解"、"注意力集中"、"叙述存在感"和"情感参与"指标上获得了最高评分，并显著高于传统字幕（c1B）或仅视觉线索字幕（c2V）。
  • 用户反馈表明，该组合方式能够更清晰地传递情绪变化，提升视频的整体体验。

• 局限性与未来方向

  • 局限性：
    • 长时间使用触觉反馈系统可能会导致部分用户感到不适或产生干扰，需进一步研究用户敏感性与适应性。
    • 当前设计局限于实验室环境，尚需在实际场景（如手机或电视）中验证效果。
    • 字幕中的情绪识别模型实时性与准确性可能未充分考虑。
  • 未来方向：
    • 探索触觉信号与声音的结合，实现更丰富的跨模态表达。
    • 考虑用户个性化需求，提高设计灵活性。
    • 添加适应性调整机制以减少触觉反馈对用户的干扰。

整体来看，本文提出了一种创新的多模态字幕系统设计，通过整合视觉与触觉大幅提升聋人和听力障碍用户对视频内容的理解和参与度，具有潜力在辅助技术领域获得广泛应用。