VRCaptions：为VR多人通信中的聋人用户设计字幕

研究背景与问题

• 作者发现了哪些问题或挑战？
  聋人和听力困难（DHH）用户在现实世界以及虚拟现实（VR）多人交互中难以获取重要的听觉信息，例如语音内容和非语音信息（情绪、语气强调以及声音位置等），这些信息对多人协作至关重要。此外，现有的远程会议工具和增强现实（AR）设备虽然尝试改善这种情况，但缺乏对VR多人交互环境中DHH用户需求的针对性设计，例如实现更易读的字幕、更高效的非语音信息传递，以及降低交互环境中的认知负担。

• 为什么这个问题很重要？
  听觉信息是多人协作和交流重要的一部分，DHH用户面对复杂的互动环境时通常无法全面参与，这会导致他们在VR中团队合作、游戏以及教育场景下受到阻碍。而随着VR和360°视频的普及，如何使各类听力困难用户能够平等地参与互动变得愈发重要，解决这一问题能够提升VR的包容性和用户体验。

• 研究动机与相关工作
  尽管一些研究已探索了DHH用户在现实会议和AR场景中的沟通需求，但针对VR多人交互的研究仍较为稀缺。此前的工作围绕字幕的时序性、情绪信息显示及多人游戏中的定位问题展开，但未完全涵盖如何在VR多人交互中实现综合性的易读、语音及非语音信息传递。这种需求推动了VRCaptions字幕系统的研究与设计。

解决方案

• 作者提出了哪些方法或解决方案？
  作者提出了VRCaptions，这是一种面向VR多人交互场景的字幕系统原型，旨在通过用户中心设计（UCD）方法，满足DHH用户对字幕设计的多维度需求（包括易读性、语音信息传递和非语音信息传递）。该设计包括以下七大方向：

  • 字幕显示位置。
  • 声音定位。
  • 讲话次序显示。
  • 讲话重叠处理。
  • 字幕延迟反馈。
  • 聊天记录可视化。
  • 讲话者身份标识。

• 该解决方案的创新之处是什么？

  • 结合DHH用户的实际需求与偏好，将字幕设计工作扩展到VR多人交互场景。
  • 将语音与非语音信息综合考虑，并在复杂互动环境中减少用户认知负担。
  • 提供了用户体验验证，包括通过实际游戏情境评估设计效果。

• 实施步骤是什么？使用了哪些关键技术？

  • 用户需求调研：通过文献回顾及三轮协作设计工作坊，梳理和确认设计需求。
  • 设计细化：根据收集的数据，形成具体的字幕设计选项并分类为三维度（易读性、语音与非语音信息传递）。
  • 用户偏好访谈：邀请13名DHH参与者，通过半结构化访谈获取设计选项的偏好数据。
  • 字幕系统开发：基于访谈成果开发VRCaptions原型，并集成至一个多人合作VR密室逃脱游戏。
  • 用户验证：通过混合听力小组的游戏体验验证字幕设计的有效性。

研究成果

• 取得了哪些具体成果？

  • 提出了并验证了7个设计方向，确定了最受DHH用户欢迎的设计选择。
  • 开发并验证了一种适用于VR多人交互环境的字幕系统原型（VRCaptions），实现了以下关键功能：
    • 在视图低中部显示字幕以提升易读性。
    • 基于讲话的自然排序显示字幕，帮助用户掌握对话次序。
    • 提供滚动式聊天记录以支持随时回看对话内容。
    • 用头像标识讲话者身份，提供更直观的识别方式。
    • 用视觉提示的形式说明声音位置。

• 与现有解决方案相比，它有哪些优势？

  • 综合考虑了字幕的易读性和非语音信息传递需求，从而能更好地支持多人交互。
  • 优化了字幕系统的设计以满足DHH用户在复杂VR互动环境中的特点。
  • 提供了灵活性设计，如用户可隐藏或查看聊天历史进行回溯。

• 实验或评估结果是什么？
  在实验中，DHH用户认可了以下设计选择：

  • 字幕显示位置放置在视图下方中间。
  • 用自然排序气泡显示讲话次序。
  • 用可以隐藏的滚动聊天记录效果较好。
  • 用头像标识讲话者比使用颜色或昵称更直观。
  • 用视野内的提示代替迷你地图标识声音位置。
    同时，实验验证了VRCaptions显著降低了DHH用户在VR互动场景中的信息访问障碍。

• 局限性与未来方向

  • 技术方面：现有系统基于自动语音识别（ASR），对语音难以识别的情况仍缺乏优化处理，未来可探索结合唇读或手语输入技术。
  • 场景方面：当前实验仅限于多人游戏环境，未来需扩展至VR协作与教育领域。
  • 用户研究：参加实验的用户数量较少，仅验证了两组实验数据，未来可面向更广泛的社区进行大规模用户测试。
  • 字幕延迟设计：未能收集到延迟现象下的用户反馈，需要进一步实验验证相关设计选项。

通过这项研究，作者不仅扩展了对DHH用户需求的理解，还初步建立了一种以用户体验为核心的VR字幕解决方案，为未来优化字幕系统的开发提供了重要参考。