从字母板到全息图：通过HoloBoard推进非言语自闭症个体的辅助技术

文献标题

From Letterboards to Holograms: Advancing Assistive Technology for Nonspeaking Autistic Individuals with the HoloBoard

文献信息

• 主题领域: 人机交互、增强现实（AR）、自闭症沟通辅助技术
• 关键词: 交叉现实, 扩展现实, 无语言自闭症患者, 辅助技术, 无障碍交互, HoloBoard, 增强现实, 自主沟通, 感官调节, 教育科技

研究背景与问题

• 发现的问题或挑战:

  • 大约三分之一的自闭症者无法通过语言有效沟通（即“无语言”）。
  • 常用的增强替代沟通（AAC）系统（如图片序列拼图）存在词汇有限、表述受限的局限性，无法支持复杂生成性语言。
  • 无语言自闭症者常面临智力被低估、受教育机会有限、社会隔离等诸多不利结果。
  • 当前自闭症者的字母板拼字方法严重依赖支持人员（Communication and Regulation Partner，CRP），增加了沟通的不便与成本。

• 研究重要性:

  • 为无语言自闭症者开发独立、生成性语言沟通系统能够显著改善其教育、社会交往、生活质量等多个方面。
  • 引入新型技术（如增强现实）可能帮助自闭症者更好地适应并提升自主沟通能力，从而减少对支持人员的依赖。

• 研究动机与相关工作:

  • 作者提出了通过增强现实（AR）设备的“虚拟字母板”（HoloBoard）系统，试图基于无语言者现有的字母板拼字技能，设计出更独立、适应性更强的培训环境。
  • 突出强调当前增强现实技术在自闭症者群体中的研究有限，鲜有研究专注于无语言人群。

解决方案

• 提出的解决方案:

  • 开发了一套基于HoloLens 2的虚拟字母板（HoloBoard）系统，模拟常见物理字母板场景。
  • 提供短时培训模块（平均时长低于10分钟），设计逐步递进的拼写任务，支持从简单字母到完整词句的过渡。
  • 系统允许支持人员（CRP）与用户共享增强现实空间，同时增加个性化界面设置功能。

• 创新之处:

  • 将增强现实技术应用于生成性语言沟通领域，为无语言自闭症者创造了新的可能性。
  • 利用用户已有拼字技能，将虚拟字母板的界面和功能设计成与物理字母板高度相似的环境，提升学习迁移。
  • 自动化了一些CRP的任务（如字母记录、语音反馈功能），支持用户更独立地与系统交互。

• 实施步骤与关键技术:

  • 开发的核心工具包括Unity游戏引擎和Microsoft Mixed Reality Toolkit（MRTK）。
  • 实现了多人实时共享虚拟空间的同步功能（基于Microsoft Azure Spatial Anchors技术）。
  • 设计多种用户界面增强机制，如触碰按钮时的音效、视觉动画、色彩定制等，弥补了虚拟世界中缺乏物理触觉反馈的不足。

研究成果

• 取得的具体成果:

  • 在23名参与者中，16名完成了完整的培训模块测试，平均训练时长仅9.66分钟。
  • 测试阶段，参与者拼写准确率平均达95.8%，显示出强大的学习适应能力。
  • 14名参与者能够自由互动，包括拼写句子、提供系统反馈，5名参与者甚至自发进入“单人模式”独立拼写。

• 与现有解决方案相比的优势:

  • 系统降低了对CRP身体环境干预的需求，首次实现无CRP持板情况下的拼写训练。
  • 利用虚拟和现实环境的结合，提高了自闭症者对系统的容忍度和独立性。

• 实验或评估结果:

  • 参与者整体拼写速度（WPM）逐步提升，从物理字母板的9.89WPM到虚拟板的6.76WPM（测试阶段），显示了系统有良好的应用适应性。
  • 用户对系统的功能持积极态度，认为其在教育、隐私沟通等方面具备重要的应用潜力。

• 局限性与未来方向:

  • 局限性:

    • 样本规模有限（23人）且仅包含熟悉物理字母板拼写的参与者。
    • 当前研究周期较短，缺乏长期跟踪对虚拟拼字的影响验证。
    • 设备（HoloLens 2）的舒适性仍是部分用户的一个障碍。

  • 未来方向:

    • 调查未接受物理字母板训练的无语言者如何适应虚拟字母板。
    • 设计长期多次训练情境，探索该系统在实际生活交流（如教育、社交）中的潜力。
    • 考虑个性化定制虚拟环境，将隐私与交互式沟通进一步整合，同时解决设备佩戴的不便问题。