"声音帮助关联手势和词语": 分析聋哑和重听(TikTokers)的内容、实践和陷阱

文献标题

"Voices Help Correlate Signs and Words": Analyzing Deaf and Hard-of-Hearing (DHH) TikTokers’ Content, Practices, and Pitfalls

文献信息

• 主题领域: 人机交互、社交媒体与无障碍视频内容创作
• 关键词: DHH（听力障碍者）、TikTok、内容创作、多模态、手语、字幕、声音特性、无障碍设计、社交媒体、观众参与

研究背景与问题

• 发现的问题与挑战:

  1. 虽然视频共享平台（如 TikTok）为听力障碍者提供了利用手语进行内容创作的新机会，但多模态创作实践（包括字幕、音频等）的挑战尚未被全面研究。
  2. 大多数现有研究集中在听力障碍者作为“内容消费者”而非“内容创作者”的体验上，同时未充分考虑普通观众对听力障碍内容的反应。
  3. 手语内容的创作有助于提升听障和听人社区之间的互通，但字幕缺失、音视频非同步等问题往往成为内容创作的障碍。

• 研究的重要性:

  1. 内容创作可以帮助听力障碍者在公众面前展示文化身份，同时提升包容性社交环境。
  2. 系统性地分析和挖掘多模态内容的创作实践和观众反应有助于为未来的视频平台设计和听障创作者实践提供借鉴。

• 研究动机:

  1. 探讨听力障碍者在 TikTok 上的创作实践，包括内容主题、创作方法和关键的多模态特性，更好地理解 DHH 群体的实际需求。
  2. 测试手语、字幕、声音特性等设计对观众参与（如点赞、分享和观看量）的影响。

解决方案

• 方法综述:

  1. 利用混合方法分析，系统性研究了 308 个 TikTok 视频内容，主要聚焦其主题、创作实践、潜在陷阱（pitfalls）及观众反应。
  2. 质性分析了视频主题、实践和评论，同时进行统计建模分析（负二项回归）以量化实践对观看数据（点赞数、播放量等）的影响。

• 创新之处:

  1. 首次综合分析了 DHH 创作者的多模态实践及其内容的观众反响，涵盖字幕、声音、背景音乐、手语等特性。
  2. 提出了改进 DHH 创作者声音特性（如口述与配音）的重要性，这在现有研究中较少被关注。
  3. 探讨了听力障碍身份披露在真实性与观众信任间的双重效果。

研究成果

视频主题:

研究总结了 DHH TikTok 创作者的五大主题：

1. 披露残障挑战（26%）: 包括网络中伤、刻板印象、歧视与真实生活中的尴尬经历等。
2. 手语内容（24%）: 手语教学、手语误用、手语挑战与反应视频。
3. 提升听障意识（21.4%）: 展示辅助听力设备、呼吁无障碍权利以及回答听人评论。
4. 娱乐内容（20.1%）: 轻松搞笑的视频（如着装展示、创意短剧）。
5. 与社交关系的互动（10.4%）: 展示听障与不同社交关系群体（家庭、朋友等）的复杂互动。

创作实践及陷阱:

1. 创作实践:

   • 字幕: 大部分视频（86.04%）都有字幕。
   • 声音特征: 仅 38.31% 的视频包含同步语音，但同步语音和配音合并后的“声音叙述”比例更低（34.74% 无声音特性）。
   • 手语: 63.96% 的视频包含手语。
   • 背景音乐与对嘴: 背景音乐适度存在（44.48%），但对嘴视频较少添加（44.16%）。

2. 常见陷阱:

   • 字幕相关问题（占 51.61% 陷阱视频）: 字幕缺失或低质量。
   • 视听失匹配（32.26%）: 声音与画面不同步。
   • 音频质量问题（29.03%）: 包括音量波动、不必要的静音。

观众参与与反应:

1. 观众参与量化分析:

   • 与主题关联: 围绕手语的内容（如教学与挑战）更容易被分享；相比之下，“提升听障意识”主题下的视频参与度（点赞与分享）较低。
   • 与创作实践关联:
     • 手语的使用显著提升点赞、播放和分享量。
     • 外部配音、背景音乐和对嘴则显著降低观看体验。

2. 质性发现:

   • 观众对披露残障挑战或手语教学表现出高度支持与同理心。
   • 听人观众对听障创作者使用音频和背景音乐的技术细节表现出好奇。

局限性与未来研究方向

• 局限性:

  1. 未直接采访听障创作者，因此关于创作倾向（如声音特性的选择）的具体原因仍不明确。
  2. 样本可能更加代表使用手语的听障人群，可能忽视更大范围内非手语听障人士的需求。

• 未来方向:

  1. 优化专为听障群体设计的配音技术工具。
  2. 定量研究听障创作者主动披露残障身份与观众互动（如恶意评论）的动态关系。
  3. 探索同步语音工具在复杂语境下（如 ASL 与口语并存）的设计与实际效用。

可行建议

1. 对 TikTok 平台和工具设计的建议:

   • 提供自动检测视听不匹配的字幕工具。
   • 实时提示音量不稳定的音频编辑功能。
   • 增加 DHH 身份验证机制以增强创作者的可信度。

2. 对听障创作者的建议:

   • 优化声音特性（如同步语音）以吸引听人观众，尤其在非教学场景下。
   • 对于听障意识内容，可通过融入手语教学或娱乐元素来增强受欢迎程度。

3. 对研究社区的建议:

   • 深入调查 DHH 内容创作的多模态复杂性。
   • 系统分析听障创作者在多平台间的交互与影响力。

此文献为解析听障创作者内容创作实践、多模态特性及其观众反应的研究做出了贡献。