为无语言自闭症用户个性化定制的AR通信系统

无语言自闭症患者（约占自闭症人口的三分之一）大多未被提供有效的言语替代方案，这严重阻碍了他们的教育、就业和社交机会。部分患者已学会通过指向助手手持的有机玻璃板上的字母来拼写单词和句子。虽然这种方法有效，但无语言自闭症用户表达希望转向一种较少依赖人类助手的更独立通信方式，以获得更多自主权和隐私保护。增强现实（AR）通信系统有望实现这一目标。例如，AR通信系统可通过使用虚拟字母板，以考虑用户独特运动技能和运动模式的个性化方式自动适应放置，从而减少对人类助手的依赖。本文探索使用行为克隆（BC）来学习这种个性化放置策略。具体而言，我们观察无语言患者与助手之间真实交互中的手指、手掌、头部和物理字母板姿态，然后利用这些观察训练行为克隆机器学习模型，使其能够在AR环境中为该用户调整虚拟字母板的放置位置。结果表明，我们的方法能够准确复制任何给定用户的人类助手动作，在位置和旋转精度方面均优于非机器学习的基线个性化放置策略。这项工作为代表更自主、私密通信奠定了基础，为无语言自闭症患者开辟了新机会。