通过无监督Siamese适配实现COTS智能手表的鲁棒手指交互

文献标题

Robust Finger Interactions with COTS Smartwatches via Unsupervised Siamese Adaptation (ViWatch)

文献信息

• 主题领域: 可穿戴设备交互技术，基于传感器的手势识别
• 关键词: 手势识别, 手指交互, 振动传感, 无监督对抗训练, 智能手表, IMU传感器, 深度学习, 部署变异性, 无监督适配, 系统用户体验

研究背景与问题

• 发现的问题或挑战:
  • 智能手表和手环难以实现便捷的输入操作，受限于屏幕的尺寸。
  • 当前手势识别技术对部署变异(手型差异、手指活动强弱、智能手表位置变化等)的鲁棒性不足。
  • 基于监督学习的方法需要频繁的用户参与标注和校准，耗时且实际应用不够友好。
• 问题的重要性:
  • 智能手表作为便携式计算平台，将成为工业、医疗和消费电子领域的重要工具。
  • 提高手表交互的鲁棒性和用户体验，有助于解锁更多潜在的应用场景。
• 研究动机与相关工作:
  • 当前已有方法如FingerIO、LLAP尝试通过智能手机实现毫米级的手指定位，但速度较慢且难以适用于智能手表。
  • Taprint等系统专注于安全认证，但仍需要用户标注数据以适应变异；而现有无监督适配方法面对更精细的指尖活动无能为力。

解决方案

• 提出的方法或解决方案:
  • 设计了一个名为ViWatch的系统，通过智能手表中的单一IMU传感器实现准确的手指交互。
  • 引入无监督的Siamese对抗学习，解决手指交互中因部署变异导致的性能下降问题。
  • 系统架构包括预处理振动信号、通用卷积神经网络(CNN)的训练，以及基于Siamese优化的DANN(对抗神经网络)模型。
• 创新之处:
  • 算法创新: 首次将无监督的Siamese对抗学习应用于精细化的手指交互，极大地提高了模型对部署变异的鲁棒性。
  • 传感器创新: 仅使用商品化智能手表内的单一IMU传感器，无需额外硬件支持。
  • 应用性创新: 实现了实时交互，为智能手表及相关物联网设备提供了自然易用的控制体系。
• 实施步骤与关键技术:
  1. 信号预处理: 使用双阈值分段方法捕获振动信号，通过傅里叶分析和高通滤波去噪。
  2. CNN骨干模型训练: 设计五层卷积网络进行手指交互分类，避免过拟合。
  3. 无监督适配: 使用DANN优化模型，使之对用户的习惯行为进行自适应。
  4. Siamese优化: 应用对比损失以调整域间嵌入，使模型能够有效处理大量用户的影响。

研究成果

• 具体成果:
  • ViWatch的实时分类准确率在一周内平均达97%。
  • 系统对手型差异、手指运动强度、手表位置变化等部署变异表现出鲁棒性。
  • 通过多种应用场景（如智能手表游戏、远程控制头戴设备）展示了ViWatch的多样化潜力。
• 与现有解决方案相比的优势:
  • 相比其它方法如ViType、iDial及Taprint，ViWatch的分类准确率提高了超过20%。
  • 无需用户标注数据，显著减少了使用者的参与负担。
  • 系统能在多种变异条件下维持高鲁棒性，适用于广泛的实际应用环境。
• 实验或评估结果:
  • 离线评估：平均分类准确率约94%，显著优于基线方法。
  • 实时评估：能够适应不同行为强度、手表位置及手指种类，保持97%以上准确率。
  • 用户体验评估：基于SUS与NASA-TLX的研究显示用户对ViWatch的接受度显著高于对比系统。
• 局限性与未来方向:
  • 局限性:
    • 数据集规模仍然有限，可能对预测模型的泛化性有一定影响。
    • 系统对携带其他物体的场景以及极端噪声环境有待进一步优化。
  • 未来方向:
    • 扩展模型以支持更多用户样本和更广泛的种族群体，分析跨域转移效果。
    • 研究能在设备端高效运行的模型，从而提升可扩展性。
    • 探索将无监督Siamese适配用于其它姿势识别及传感器场景。

总结

ViWatch系统通过创新性算法，克服了商品化智能手表交互中的部署变异问题，达到了高准确率与鲁棒性，其应用具有广泛前景。相比传统的监督学习方案，无需用户参与标注，显著改善了用户体验。这项研究为未来的交互技术创新奠定了基础，也提供了丰富的实践启示。