赋予动作以意义：无辅助AAC与语音生成消息配对扩展交流的挑战与机遇

文献标题

Giving Meaning to Movements: Challenges and Opportunities in Expanding Communication by Pairing Unaided AAC with Speech Generated Messages

出版信息

• 主题领域: 将辅助型与非辅助型增强与替代沟通（AAC）结合，用于运动障碍人士。
• 关键词: AAC, 手势识别, 运动障碍, 参与式设计, 机器学习, Transformer模型, 自监督学习, 多模态数据, 个性化系统, 无障碍设计。

背景与问题

• 问题/挑战: 当前的AAC系统分为辅助型（依赖外部设备）和非辅助型（使用基于身体的手势），但这两种方法通常被视为互斥的。辅助型AAC提供标准化输出，但对于运动障碍用户来说速度慢且使用繁琐；非辅助型AAC自然流畅，但在与不熟悉的交流伙伴沟通时缺乏可理解性。缺乏能够结合两种方法优势的系统。
• 重要性: 将辅助型与非辅助型AAC结合，可实现更快、更自然的沟通，同时保持可理解性，尤其是对于使用传统AAC系统面临显著障碍的运动障碍人士。
• 动机与相关工作: 之前的研究探索了手势识别和机器学习在AAC中的应用，但这些研究通常依赖健全人士的数据集和预定义手势，未能考虑运动障碍用户的独特且多变的动作。本论文旨在通过开发个性化、自适应系统来解决这些问题。

解决方案

• 提出的方法: AllyAAC，一种结合腕戴式IMU传感器与智能手机应用的可穿戴系统，可实时识别个性化手势并将其转换为合成语音。
• 创新点:
  1. 基于与AAC用户18个月的参与式设计提出的辅助型与非辅助型AAC整合设计原则。
  2. 包含超过60万数据点的多模态数据集，其中包括非典型手势与IMU数据的配对。
  3. 开发基于Transformer的个性化手势识别模型，并采用自监督预训练策略。
  4. 半自动化标注流水线将标注时间减少67%。
• 流程与关键技术:
  1. 与AAC用户进行参与式设计会议，识别挑战与机会。
  2. AllyAAC的迭代开发，包括手势记录、标注和模型训练。
  3. 使用自监督学习（对比学习、CPC、掩码重构）在未标注数据上进行模型预训练。
  4. 部署个性化模型，实现实时手势识别与语音输出。

结果

• 具体发现:
  • 半自动化标注流水线实现了F1分数0.95，并将标注时间减少67%。
  • 大型Transformer模型的平均F1分数达到0.871，显著优于基线规则模型（F1分数为0.589）。
  • 人类评估确认大型模型的平均精度为0.88，且具有较高的评分者一致性（AC1 = 0.92）。
• 相较基线的优势: 大型模型的F1分数平均比基线高28%，尤其在识别复杂或重叠手势方面表现突出。
• 实验/评估:
  • 在会议现场对14名参与者（8名运动障碍人士，6名健全人士）进行实地研究。
  • 使用F1分数和人类评分对模型进行定量评估。
  • 分析预训练策略，显示不同策略在不同手势类型上表现优异。
• 局限性与未来工作:
  • 在重叠手势或词汇量增加时，识别准确性有所下降。
  • 传感器放置与校准仍存在挑战。
  • 未来工作包括探索多模态传感（如结合IMU与视觉）、自动化数据传输以及开发上下文感知的手势识别。

总结

本文提出了AllyAAC系统，通过识别个性化手势并将其转换为合成语音，将辅助型与非辅助型AAC整合起来。该系统通过与AAC用户18个月的参与式设计开发，利用自监督学习和半自动化标注流水线解决了运动障碍人士手势识别的挑战。定量与定性评估显示其在识别准确性和可用性方面取得了显著改进。该研究贡献了一个新颖的数据集、自适应模型和设计原则，为更具包容性和个性化的AAC技术铺平了道路。