利用NIRS-X赋能现实世界脑机接口：一个利用无标注脑信号的自适应学习框架

视频

DOI

使用功能近红外光谱技术的脑机接口因其部署便利和成本下降，在未来交互式用户界面中具有前景。然而，它们通常需要为每个用户和任务进行单独的校准过程，这可能造成负担。机器学习有所帮助，但面临数据稀缺问题。由于生理数据存在固有的用户间差异，传统做法是为每个新任务和新用户创建新的标注训练数据集。为减少对这种大量数据收集和标注的依赖，我们提出自适应学习框架NIRS-X，以利用更容易获取的无标注fNIRS数据。NIRS-X包含两个关键组件：NIRSiam和NIRSformer。我们使用NIRSiam算法从先前用户和任务获取的无标注fNIRS数据中提取泛化的脑活动表征，然后将这些知识迁移到新用户和新任务。同时，我们设计了一个专门用于捕获多通道fNIRS脑输入信号中局部和全局、空间和时间关系的神经网络NIRSformer。通过使用已发布的fNIRS2MW视觉n-back数据集和新采集的fNIRS2MW音频n-back数据集中的无标注数据，NIRS-X展示了其对新用户和任务强大的适应能力。结果表明其性能与监督方法相当或更优，使NIRS-X成为现实世界fNIRS脑机接口的有前景方案。