智能手表鲁棒且可部署的手势识别

文献标题

Robust and Deployable Gesture Recognition for Smartwatches

文献信息

• 主题领域: 智能手表上的手势识别，关注增强鲁棒性及实用性
• 关键词: 手势、传感、穿戴设备、移动设备、深度学习

研究背景与问题

• 问题与挑战:

  • 智能手表上进行手势识别面临诸多挑战，包括资源受限和用户动态条件变化。
  • 日常事件（如佩戴和卸下手表）的变动会显著降低手势识别的准确性。
  • 深度学习模型的大型架构不适合计算能力有限的设备。

• 重要性:

  • 手势识别的成功很大程度上取决于其灵活性及适应多样化的用户和环境。
  • 在资源受限设备上实现高效的手势识别能为可穿戴设备领域提供重要技术支持。

• 研究动机与相关工作:

  • 当前技术具有较高的准确性，但面对用户、任务和环境的变化缺乏足够的鲁棒性。
  • 像GPT-3这样的现代深度学习模型无法在智能手表等计算能力有限的设备上部署。
  • 已有工作表明，通过收集更具代表性的训练数据集及改进模型结构，可以提升识别的鲁棒性。

解决方案

• 方法与解决方案:

  1. 数据采集方法改进：
     • 扩展障碍课程数据收集方法，鼓励用户在模拟现实环境中生成多样化且现实的手势。
     • 覆盖多种可能影响识别的变量，如用户的行走姿态、手表松紧度等。
     • 收集可以产生误分类的日常手势数据，例如喝水、电话等动作。
  2. 模型设计与优化：
     • 提出基于卷积网络的深度学习模型，可以对原始传感器数据及生成的频谱图进行分类。
     • 使用全局平均池化和最小模型架构，减少参数并提升在资源受限设备上的效率。
     • 融合时间序列和频谱数据，利用相关信息增强鲁棒性。

• 创新点:

  • 优化数据集质量以增强模型鲁棒性。
  • 提出比现有方法复杂度低两个数量级的模型，同时保持超过98%的分类准确性。
  • 显著减少模型大小和计算资源需求，使其在智能手表上可直接部署。

• 实施步骤与关键技术:

  • 数据处理与标注：对传感器收集的原始数据进行切片和标签处理。
  • 模型结构设计：基于卷积单元（ConvUnit）设计轻量化网络架构。
  • 训练与评估：基于多种损失函数测试模型鲁棒性，包括交叉熵损失、自适应鲁棒损失等。

研究成果

• 实验结果与具体成果:

  • 数据采集通过情景模拟和多样化样本生成显著提升训练数据质量。
  • 基于时间序列和频谱数据的融合模型在各种实验中表现出98%以上的准确性。
  • 在用户独立性测试中，模型对新增用户的平均精度达98.2%；在情景鲁棒性测试中，对新情况的精度约96%-99%。

• 与现有解决方案的比较:

  • 相较之前需要改动硬件（高采样率等）的解决方案，本文方法采用标准的100Hz采样率同时保持了类似的高准确性。
  • 模型大小和计算复杂度显著降低，更适合资源受限设备。

• 局限性与未来工作方向:

  • 目前研究集中在二分类任务，需进一步扩展到多分类任务。
  • 探索多个传感器结合方案以进一步增强鲁棒性。
  • 研究模型个性化及迁移学习的可能性，以确保更广泛的适用性和更高的准确性。

附加信息

本文数据集已开源，可从https://userinterfaces.aalto.fi/robustgestures访问，用于后续研究与技术开发。