共处共享增强现实游戏中的沟通、协作与协调：聋人及听力障碍者的视角

文献标题

Communication, Collaboration, and Coordination in a Co-located Shared Augmented Reality Game: Perspectives From Deaf and Hard of Hearing People

文献信息

• 主题领域: 增强现实 (Augmented Reality, AR)、无障碍设计、聋人和重听人技术体验
• 关键词: 聋人和重听人, 协同增强现实, 共享增强现实, 多人游戏, 无障碍设计, 用户体验, 多模式通信, 协作, 混合现实, 游戏设计

研究背景与问题

• 作者发现的问题或挑战：

  • 现有的共享增强现实 (Shared AR, S-AR) 和协作增强现实 (Collaborative AR, C-AR) 研究普遍关注设计、技术实现和用户界面等问题，但对聋人和重听人 (Deaf and Hard of Hearing, DHH) 群体的无障碍性和包容性关注不足。
  • 当前文献中关于 DHH 群体在共场的协作增强现实环境中通信、协作和协调的行为研究较为稀缺。
  • 以听觉和视觉为主的 AR 环境可能加剧 DHH 群体的社会孤立问题，影响其教育、娱乐等多领域的公平参与。

• 研究重要性：

  • 理解和改进 DHH 群体在协作增强现实环境中的体验，有助于打造更具包容性的技术应用场景，这对于游戏开发、教育培训、工业应用等领域具有广泛影响。

• 研究动机：

  • 在为 DHH 群体提升无障碍环境的过程中，将现实世界中经常依赖视觉和手势的通信策略与 AR 技术结合，探索协作增强现实在多用户场景中的适用性和局限性。

解决方案

• 提出的方法或解决方案：

  • 作者设计并测试了一个多人协作共场增强现实游戏 "Urban Legends"，并通过对 17 名 DHH 参与者的用户实验和半结构化访谈，分析了该群体在协作增强现实中的通信、协作和协调行为。

• 创新之处：

  • 探索了 DHH 群体如何在没有嵌入通信技术（如内置聊天或语音通信）的共场增强现实环境中，通过多模态（语音、手势、体态语言等）的通信模式进行协作。
  • 总结了 DHH 用户的主要挑战及其设计建议，如自动生成的语音转文本功能、可定制的视觉提示信息。

• 实施步骤与关键技术：

  • 使用“Urban Legends”游戏进行五轮游戏实验，每轮时长约 240 秒，分公共空间和私人空间进行。
  • 分析了游戏前后的通信与协作策略，采用回顾性主题分析（RTA）对访谈数据进行编码并提取主题。
  • 详细记录了游戏内（与虚拟对象和环境的互动）和游戏外（与周围人、环境的协作）的参与者行为。
  • 数据采集工具包括视频观察、设备屏幕录制和访谈转录。

研究成果

• 主要成果：

  • 通信行为：

    • DHH 用户利用语音、手势、体态语言和手机上的语音转文字应用进行有效的多模态通信。
    • 游戏过程中通信频率有所降低，多数用户选择肢体语言与手势完成简单指令，而较复杂的策略讨论集中于每轮游戏前。

  • 协作行为：

    • 用户在游戏讨论阶段的协作更多，通过讨论分配角色并制定策略。
    • 随着游戏轮次的进行，协作逐渐减少，原因包括用户对规则的熟悉度升高，以及游戏机制对协作需求的限制。

  • 协调行为：

    • 在 AR 组件上的协调：用户需要不断熟悉游戏规则，以及合理的物理移动来完成目标。
    • 在环境上的协调：开放而宽敞的环境有助于减少干扰和提高安全性，但公众区域的路人可能造成分心。
    • 在与同伴的协作上：即使初次见面，陌生群体中通信和协作仍能逐步改善。

  • 设计建议：

    • 增强通信支持，如游戏内嵌语音转文本、手势菜单及自定义视觉信息。
    • 提供更明确的视觉反馈，如敌人位置和游戏目标的视觉提示。
    • 提供更安全且适合移动的物理空间，同时设计无需过多沟通也能完成的游戏任务。

• 相较现有解决方案的优势：

  • 打破了现有增强现实研究中对 DHH 用户的忽视，特别是在共场协作的动态游戏中捕捉通信行为的细节。

• 实验或评估结果：

  • 用户实验和访谈揭示了多模态通信、空间偏好，及对游戏可用性的重要设计启示。
  • 游戏环境的无障碍设计能够引导更流畅的通信及个性化的协调体验。

• 局限性与未来方向：

  • 本研究的参与者仅限于高校学生群体，且许多用户对 AR 技术有基础了解，这可能限制结论的普适性。
  • 当前研究中未包括听力正常用户参与对比，仅关注了 DHH 群体的独特需求。
  • 后续工作将探索不同领域的协作增强现实应用，并扩展参与者的年龄、职业和技术背景范围，从而进一步验证研究发现的广泛适用性。