为非言语自闭症患者设计的互动AR应用程序？一项可用性研究

文献标题

Interactive AR Applications for Nonspeaking Autistic People? - A Usability Study

文献信息

• 主题领域: 测试增强现实(AR)技术用于无语言交流自闭症人群的实用性
• 关键词: 无语言交流自闭症, 增强现实, 可用性研究, 辅助技术, HoloLens

研究背景与问题

• 发现的问题或挑战:
  • 约三分之一的自闭症人群无法通过语言有效交流，但大多数人未能获得有效的替代交流方式。
  • 无语言交流自闭症人群通常面临运动规划及控制的困难，同时也有严重的感官问题，导致他们很难参与常规学习或社会活动。
  • 当前关于增强现实(AR)技术支持自闭症的研究多数集中在可以语言交流的个体，无语言交流者的研究为数甚少。
• 重要性:
  • AR技术可以为无语言交流的自闭症人群提供结构化学习机会，尤其是在训练打字等替代性交流方式相关的技能上。
  • 检测无语言交流者是否能耐受头戴式AR设备并与虚拟按钮进行互动是进一步开发相关技术的重要前提。
• 研究动机与相关工作:
  • 现有文献表明，AR可以通过定制化的交互方式支持自闭症人群的学习和社交技能。
  • 类似研究中使用的技术（如Google Glass）未能验证无语言交流者使用现代AR设备（如HoloLens 2）的可行性。
  • 有必要探索此目标人群可耐受并可操作虚拟对象的能力，以填补研究空白。

解决方案

• 提出的解决方案:
  • 开发了一款运行在HoloLens 2设备上的虚拟按钮游戏，该游戏包含逐步增强难度的按钮按压任务。
  • 游戏通过循环引导用户完成不同大小与数量的虚拟按钮交互，为无语言交流者适应头戴式设备提供了机会。
• 创新点:
  • 首个专为无语言交流自闭症人群设计的使用HoloLens 2进行互动的可用性研究。
  • 游戏采用循序渐进的任务设计，结合了用户社区（家庭、专业人士、自闭症个体）的输入。
  • 提供了无时间限制和计时任务的结合体验，同时采用视觉变化和音效作为反馈机制，增强用户参与度。
• 实施步骤与关键技术:
  1. 使用HoloLens 2设备的手部追踪技术，允许用户通过手指直接与虚拟按钮互动。
  2. 游戏设计分为三轮任务，逐步增加按钮数量和减少按钮大小。每轮任务包括无时间限制的练习任务和一个或两个计时任务。
  3. 游戏通过视觉文字和语音指导，每完成一个按钮操作后播放动画作为奖励。
  4. 数据采集包括设备容忍时间、用户输入反应时间、游戏完成等级等。

研究成果

• 具体成果:
  • 在17名无语言交流自闭症者中，88%的参与者能够佩戴设备并开始游戏。
  • 参与游戏的15名用户中，11名完成了所有任务，显示出显著的学习能力改进。
  • 数据表明大多数用户可以通过交互提升按钮点击的效率，尽管游戏难度随着轮次增加。
• 与现有解决方案的优势:
  • 与静态的传统支持方式相比，AR增强了互动性，为练习打字等复杂技能提供了基础。
  • 提供错失理解和交互数据，揭示技术局限性（如按钮灵敏度）和用户行为特征（如快速适应）。
• 实验或评估结果:
  • 设备耐受性：67%的用户一次性完成实验未中断，而其他用户也表现出较高的适应性。
  • 学习能力提升：绝大部分用户能够通过各轮任务递进地提升操作技能。
  • 按钮点击错误分析显示，大多数问题可以通过调整用户界面和交互设置解决。
• 局限性与未来方向:
  • 局限性：样本量偏小，性别比例严重不平衡，仅限于青少年与青年群体，研究设备仅限于HoloLens 2。
  • 未来方向：
    1. 开发基于AR的多感官互动模块，增强对复杂技能的支持。
    2. 探讨其他AR设备或附件（如触觉反馈）的潜力。
    3. 扩展研究至更广泛的年龄群体，特别是儿童和老年人群。