理解并增强在线聋人/听力障碍沟通无障碍中的唇读作用

文献标题

Understanding and Enhancing The Role of Speechreading in Online d/DHH Communication Accessibility

文献信息

• 主题领域: d/Deaf和Hard-of-Hearing (d/DHH)人士的在线沟通可及性，特别是阅读唇语(Speechreading)在视频会议中的作用。
• 关键词: Speechreading, d/Deaf and Hard-of-Hearing, 在线沟通, 视频会议, 可及性技术。

研究背景与问题

• 作者发现了哪些问题或挑战？

  1. 阅读唇语这一重要沟通方式在HCI文献中记录较少。
  2. 在线环境中阅读唇语的技术支持不足，当前解决方案未能充分利用丰富的社会和环境线索。
  3. 阅读唇语和字幕交互影响的研究尚属初期，多数研究关注单一技术，而未考虑其组合使用的复杂性。

• 为什么这个问题很重要？ 阅读唇语为d/DHH人士提供了听觉损失后另一种“听”语言的方式。随着视频会议和在线对话的普及，了解如何优化这些技术以支持多样化的沟通策略变得尤为重要。

• 研究动机与相关工作

  1. 过往研究更多集中于改善单词级别的阅读唇语精确性或训练算法，无视自然对话中复杂的社会文化和语言背景。
  2. 当前的字幕技术只能提供语义信息，但忽略了语言表达的非语言和副语言细节，如语气和面部表情。

解决方案

• 作者提出了哪些方法或解决方案？

  1. 设计并测试了一系列“设计探针”（Design Probes）以调研阅读唇语和字幕技术如何互动：
     • 底层（Botton-up）设计：对声音的视象（viseme）歧义进行消解。
     • 高层（Top-down）设计：提供语境信息（关键词、语言切换等）。
  2. 通过与12名自认使用阅读唇语的d/DHH参与者的深入访谈和共同设计工作坊，挖掘社会、环境和技术对沟通可及性的影响。

• 该解决方案的创新之处是什么？ 创新点在于对阅读唇语的研究从技术精确性扩展到探索实际使用情境下的复杂沟通动态，并将设计重点转向更直观的辅助技术和使用者主导的设计。

• 实施步骤是什么？使用了哪些关键技术？

  1. 三阶段研究设计：
     • 访谈：获取参与者的背景信息及在线和线下场景中的阅读唇语体验。
     • 设计探针测试：评估多种设计视觉化方案对语音解读的支持效果。
     • 共同设计：基于参与者反馈重新设计更有效、更实用的支持方案。
  2. 关键技术包括视频叠加、字幕动态生成以及人工智能对于语音和非语言信息的识别。

研究成果

• 取得了哪些具体成果？

  1. 提出了阅读唇语和字幕结合使用的策略及其实际场景中的优缺点。
  2. 发现大部分现有技术忽略了阅读唇语的社会文化和环境影响。
  3. 提出了一系列创新设计建议，如动态字幕、虚拟“无变体语音人头”、关键词提取等。

• 与现有解决方案相比，它有哪些优势？

  1. 更注重阅读唇语作为一种“多流信息整合”的综合体验，而非单纯增强精确性。
  2. 提出考虑语言背景、环境因素和用户社会角色的设计标准，从而实现更具包容性的沟通技术。

• 实验或评估结果是什么？

  • 大多数参与者评价现有底层设计探针较为复杂且学习门槛高，转而更青睐直观的高层设计（例如关键词提取和情境切换指标）。
  • 提出的新设计概念得到参与者普遍欢迎，但对实现技术的可行性还需进一步验证。

• 局限性与未来方向

  1. 局限性：
     • 样本量较小（12名参与者）。
     • 未纳入从事Cued Speech的用户。
     • 设计探针中的句子设置较为简单，未完全模拟实时对话的复杂性。
  2. 未来方向：
     • 探索视频同步、语言检测、多语言字幕等新功能。
     • 扩大参与者群体至国际范围，研究其他语言和文化对阅读唇语的影响。
     • 开发可实时生成的视觉化支持系统并验证长期使用效果。

总结

本文为研究视频会议中d/DHH人士的沟通可及性开辟了一条新路径，从阅读唇语的多样化应用场景到技术支持的设计创新，均提出重要洞见。研究建议未来的辅助技术应聚焦于对社会、技术和环境影响的综合考虑，同时深化对语音非语言信息的支持，使沟通真正达到“丰富而全面”的效果。