探索聋人和重听人士对增强现实任务的看法：与3D对象交互和指令理解

研究背景与问题

作者发现了哪些问题或挑战？

• 增强现实 (AR) 通常设计为迎合具有统一感官能力的用户，但可能忽视了聋人和听障用户（DHH）的独特需求。
• DHH 用户在 AR 环境中可能面临独特挑战，特别是涉及高度依赖感官输入的任务（例如 3D 对象交互和指令理解）。
• DHH 人群主要依赖视觉和触觉输入，这种感官缺失可能导致较高的认知负荷以及操作困难。

为什么这个问题很重要？

• 全球超过 5% 的人口（约 4.3 亿）属于 DHH 群体，他们在享受感官丰富的技术（如 AR）时可能面临重大的数字鸿沟风险。
• 当前为 DHH 群体设计的 AR 交互研究有限，解决这些问题不仅有助于提高技术可访问性，还能创造更多的学习、培训和就业机会。

研究动机与相关工作

• 作者指出，目前的研究集中于促进 DHH 用户与听力正常用户之间的沟通，以及增强 DHH 用户的情境意识，然而涉及放置、旋转 3D 对象等复杂任务的研究尚未充分探索。
• 将现有 AR 技术应用于教育、娱乐和职业培训等情境，仍需进一步理解 DHH 群体的需求与挑战。

解决方案

作者提出了哪些方法或解决方案？

• 使用“愤怒的小鸟 AR”（Angry Birds AR）作为研究工具，探讨 DHH 与听力正常用户在 AR 环境中的体验和挑战。
• 收集 DHH 和听力正常参与者的反馈，识别交互障碍，提出设计建议以提高 AR 的可达性。
• 设计的重点包括：可定制的用户界面、替代音频反馈的模块化反馈系统，虚拟手语化身等。

该解决方案的创新之处是什么？

• 以游戏化环境进行 DHH 用户体验研究。小游戏可以通过简化任务来测试目标用户在 AR 环境中的操作行为。
• 与听力正常用户进行比较分析，加强对 DHH 用户独特交互需求的理解。
• 提出具体设计建议，如为 DHH 用户提供手语虚拟助手和定制化的触觉反馈。

实施步骤是什么？使用了哪些关键技术？

1. 数据收集：研究分为游戏试玩和受访者的短期、长期访谈。

   • 参与者在私密实验室和公共空间分别玩 AR 游戏，并记录其游戏体验和反馈。
   • 使用反思性主题分析 (RTA) 和数据三角法来整合各种来源的数据（游戏录像、访谈记录和观察笔记）。

2. 参与者多样性：统计了来自 11 名 DHH 和 15 名听力正常参与者的数据，DHH 参与者进一步区分为偏爱手语或英语的用户群体。

3. 技术分析：具体分析用户在游戏中使用的交互方式（如物理运动与按钮交互）、感官反馈（触觉振动和声音提示）以及对文本指令的理解。

研究成果

取得了哪些具体成果？

• 明确了在用户交互、指令理解和反馈机制方面 DHH 用户的特定需求与障碍：
  • 交互方式：DHH 用户在公共空间更倾向于使用 UI 元素进行交互，而在私密空间更愿意结合物理运动和界面按钮。
  • 感官反馈：触觉反馈的缺失或者设计不当降低了游戏沉浸感。
  • 指令呈现：文本指令虽然被大多数用户接受，但其呈现时间太短导致部分用户未能完全理解。
  • 视觉和音频反馈的平衡：DHH 用户无法有效使用音频反馈，这需要更显著且持久的视觉线索。

与现有解决方案相比，它有哪些优势？

• 提出的设计建议更加注重模态切换（视觉、触觉、听觉），为 DHH 用户首选的感官能力提供多样化的支持。
• 游戏化环境（如 Angry Birds AR 的使用）更贴近实际的用户体验，简化了实验环境复杂性。
• 聚焦场景化用户体验，例如公共环境中的空间意识与私人环境中的沉浸感之间的需求差异。

实验或评估结果是什么？

• 交互偏好：大部分 DHH 用户在公共空间中更重视周围环境，倾向保持静止；而听力用户则优先追求沉浸体验，更多使用物理移动。
• 反馈机制：触觉反馈能显著提升沉浸感，但应用场景不充分。较弱的音频反馈没有显著增强听力用户的体验。
• 指令屏显问题：现有指令时间太短，导致部分用户无法注意到；DHH 用户更建议持久显示。

局限性与未来方向

• 局限性：

  • 参与者主要为大学相关人员，样本多样性较低。
  • 游戏任务较简单，未能测试更复杂的 AR 应用场景。
  • 部分 DHH 参与者可能已经熟悉传统版本的 Angry Birds，可能影响了研究结果。

• 未来方向：

  • 将研究推广到更复杂的行业应用或教育场景。
  • 招募更多年龄段与职业背景的参与者以扩展发现的适用性。
  • 深入研究结合高认知负荷和多任务处理的 AR 应用情况。
  • 与 DHH 社区深入合作，采用参加式设计方法以更精准地反映用户需求。

总结

本文通过探索 DHH 用户在 AR 环境中的挑战，并提出针对性的设计改进，推动了增强现实技术的可达性研究。这项工作不仅为游戏领域提供了重要参考，还为教育、工业培训和其他实际应用奠定了基础。