言语与光标脑机接口的个性化自适应用户界面

文献标题

A Personalized and Adaptable User Interface for a Speech and Cursor Brain-Computer Interface

出版信息

• 主题领域: 面向重度瘫痪个体的脑机接口（BCI）用户界面设计。
• 关键词: 脑机接口，用户中心设计，辅助技术，语音解码，光标控制，ALS，瘫痪，多模态交互，个性化，适应性。

背景与问题

• 问题/挑战: 现有的脑机接口（BCI）系统缺乏以用户为中心的设计，难以满足重度瘫痪个体的日常长期使用需求。目前的辅助技术存在打字速度慢、用户疲劳以及精确性或可靠性不足等问题。
• 重要性: 有效的BCI技术可以通过实现沟通和计算机交互，恢复瘫痪个体的独立性并提高其生活质量。
• 动机与相关研究: 以往研究主要集中在BCI解码算法和控制方式上，但对实际长期使用的用户界面（UI）设计关注较少。尽管存在非植入式BCI和替代增强通信（AAC）系统，但它们在速度、精确性和适应性方面仍然受限。植入式BCI提供了更高的控制精度，但需要个性化和可适应的用户界面以满足多样化的用户需求。

解决方案

• 提出的方法: 为一种皮质内BCI系统开发个性化和可适应的用户界面，通过与用户的迭代共设计实现多模态交互和实时通信。
• 创新点:
  1. 与用户（T15）进行长期共设计，创建个性化BCI界面，并展示可转移的设计原则。
  2. 具有共享后端和可适应前端的灵活系统架构，支持不同用户（如T19）的定制化需求。
  3. 集成多模态控制方法（语音解码、神经光标、手势、眼动追踪）以实现情境相关的交互。
  4. 通过迭代开发句子校正功能，在精确性和可用性之间取得平衡。
• 流程与关键技术:
  1. 与参与者T15进行为期22个月的迭代共设计，包括日常使用、调查和反馈会。
  2. 开发基于有限状态机（FSM）的用户界面，模块化组件包括语音解码、光标控制和句子校正。
  3. 将系统部署到第二位参与者（T19），展示其对不同控制方案和需求的适应性。
  4. 通过长期使用数据、调查和系统日志进行评估。

结果

• 具体发现:
  • T15在22个月内使用系统超过4000小时，打字速度达到每分钟60个单词，并维持全职工作。
  • 通过迭代设计，句子校正精确度从40-41%提高到59%，校正时间从19秒增加到62秒。
  • 在成功校正的句子中，91.2%使用了逐字校正，手动输入的精确度最高（76%）。
  • T15对使用系统时的独立性评分为4-5分（满分5分），但系统设置需要护理人员协助。
• 相较基线的优势:
  • 多模态交互（如神经光标、眼动追踪）解决了单一模态系统的局限性。
  • 个性化的句子校正功能相比初始设计提供了更高的精确性和可用性。
  • 灵活的架构使得系统能够适应第二位用户（T19）的不同需求和控制方法。
• 实验/评估:
  • 对T15进行的长期研究，包括调查（辅助技术评估、个人使用任务评估、用户中心设计问卷）和系统使用日志。
  • 系统部署到T19，适应基于北约代码词的语音解码和有限的身体运动。
• 局限性与未来工作:
  • 由于临床试验限制和手术植入需求，用户群体有限。
  • 系统无法主动适应用户表现或情境。
  • 未来工作应探索更大规模的测试以及进一步自动化的适应过程。

总结

本研究提出了一种个性化和可适应的皮质内BCI用户界面，使重度瘫痪个体能够独立进行沟通和计算机交互。通过与参与者T15为期22个月的共设计，系统被调整以支持多模态交互（语音解码、神经光标、眼动追踪）和迭代句子校正功能。系统在第二位参与者（T19）中的部署展示了其对不同需求和控制方法的适应性。研究结果强调了个性化、多模态冗余以及灵活校正选项在辅助BCI设计中的重要性，为未来的用户中心开发提供了模型。