皇室字幕：从聋人和重听个体的角度探索情感字幕的设计空间

文献标题

Caption Royale: Exploring the Design Space of Affective Captions from the Perspective of Deaf and Hard-of-Hearing Individuals

文献信息

• 主题领域: 无障碍设计与人机交互 (HCI)
• 关键词: 无障碍性, 字幕设计, 情感表达, 聋人和听力障碍者, 人机交互, 字体设计, 情感识别模型, 多样化实验方法

研究背景与问题

• 研究问题或挑战:

  • 当前字幕技术在精确传递语言内容方面取得了显著进步，但仅表述了语音的言语信息，缺乏对情感或语调的表达。
  • 聋人和听力障碍（DHH）观众错失语音非语言信息带来的情感线索，影响内容体验。
  • 现有研究对通过字幕样式传递情感（如使用颜色、字体调整等）进行了初步探索，但未系统调查听力障碍者对这些设计风格的偏好和有效性。

• 重要性:

  • 对听力障碍者提供准确且富有情感的字幕能显著提升视频内容的用户体验。
  • 对情感字幕样式设计的系统性探索不仅可以丰富HCI领域的设计思路，还能推动无障碍技术的进一步发展。

• 研究动机:

  • 少量已有工作初步显示「情感字幕」能加强听力障碍人群对情感语境的理解，但缺少从用户角度出发的广泛实证验证。
  • 涉及情感描述的滚动字幕（逐字显示）对聋人用户的重要性尚未深入研究，这恰是当前的重大空白。

解决方案

• 方法与解决方案:

  1. 提出九种独立的字幕样式，通过字体颜色、字体粗细、尺寸、阴影等属性对情感的两个维度（正负情感或“愉悦性”（valence）和激动性或“唤醒度”（arousal））进行表达。
  2. 采用三轮研究设计：
     • 研究1: 评估这九种样式在单独传递“愉悦性”和“唤醒度”方面的表现。
     • 研究2: 合并研究1中表现最优的样式，探索传递“愉悦性”和“唤醒度”的组合效果。
     • 研究3: 对前两轮选出的最优样式与中性样式进行主客观效果对比。

• 创新之处:

  • 第一次系统且综合地分析了“情感字幕”的视觉设计空间。
  • 将用户的偏好与情感传递效果结合，通过直接对比验证哪些样式更能有效服务于听力障碍者。
  • 运用独特的实验方法（如 EmojiGrid 表情二维评分工具、Best-Worst Scaling 等），分别从偏好选择与情感解读角度验证样式有效性。

• 实施步骤与关键技术:

  1. 数据准备：从情感丰富的视频素材中提取转录、时间戳和语音情感（基于情感识别网络）。
  2. 样式设计：从文献中筛选与情感最相关的字体参数并设计实验样式。
  3. 数据收集：召集听力障碍参与者，进行多轮测试评估样式偏好和解读效果。
  4. 数据分析：通过排名算法（如 TrueSkill）和相关性测试（如距离相关性）量化样式的表现。

研究成果

• 具体成果:

  • 研究1结果：
    • 在愉悦性维度：字体颜色（Font-color）和阴影颜色（Shadow-color）占优。
    • 在唤醒度维度：字体颜色、字体粗细（Font-weight）、字体大小（Font-size）和阴影颜色表现优秀。
  • 研究2结果：
    • 最优组合样式为：字体颜色与字体粗细，字体颜色与字体大小，字体颜色与阴影颜色，阴影颜色与字体大小。
  • 研究3结果：
    • 字体颜色结合字体粗细（Font-color with Font-weight）和字体颜色结合字体大小（Font-color with Font-size）表现优异，分别在认知负担和情感传递效率上展现不同优点。

• 优势:

  • 性能：主观偏好排名和情感识别任务的结果显示上述两种组合样式显著优于传统中性字幕。
  • 灵活性：参与者反馈支持通过参数调整（如颜色强度、大小、粗细范围）实现进一步个性化。

• 实验与评估结果:

  • 主观感知：参与者认为字体颜色和字体大小的结合在传递情感上最直观，但字体粗细结合样式在视觉干扰较低且认知负担较轻。
  • 客观测试：两种最优样式（Font-color with Font-size 和 Font-color with Font-weight）在情感识别任务中与参考情感坐标的相关性显著高于其他样式。
  • 局限性：
    • 情感字幕对于长时间观看的视频可能引入新的视觉疲劳问题。
    • 对不同文化背景的颜色-情感关联尚需进一步验证。

• 未来方向:

  1. 测试更多话语场景（如多人对话、实时字幕）。
  2. 调查文化差异对情感字幕解读的影响。
  3. 优化情感字幕系统的实时处理能力以适应动态、自然环境中的应用。
  4. 探索更广泛的用户个性化配置选项以增强灵活性。