MagFace：基于低功耗磁传感的骑行眼镜抗干扰面部手势识别系统

文献标题

MagFace: Interference-Resistant Facial Gesture Recognition System on Cycling Glasses with Low-Power Magnetic Sensing

出版信息

• 主题领域: 用于骑行环境中免手操作的可穿戴技术
• 关键词: 面部手势识别、磁传感、骑行眼镜、可穿戴交互、深度学习、低功耗传感、抗干扰、用户定义手势、实时系统、城市骑行

背景与问题

• 问题/挑战: 现有的可穿戴面部手势识别系统在户外骑行场景中容易受到光线、震动、汗水、噪音和温度变化的干扰。此外，之前的手势集合通常较为复杂，不适合骑行使用。
• 重要性: 安全高效的免手操作对于骑行者来说至关重要，以避免分心并保持控制，尤其是在动态环境中。
• 动机与相关研究: 之前采用光学、电容、生理或声学传感的方法容易受到汗水、运动和光线等环境因素的影响。磁传感在抗干扰方面表现出色，但尚未在骑行场景中的面部手势识别领域得到充分探索。

解决方案

• 提出的方法: MagFace是一种集成到骑行眼镜中的可穿戴面部手势识别系统，结合磁性硅胶插片和磁力计，并通过深度学习管道实现鲁棒的手势分类。
• 创新点:
  1. 将磁传感集成到骑行眼镜中，用于抗干扰的面部手势识别。
  2. 开发了一个定制的深度学习管道，包含抗噪预处理和投票机制，用于实时交互。
  3. 设计了一个针对骑行场景优化的用户定义面部手势集合。
• 流程与关键技术:
  • 眼镜框架上的磁性硅胶插片捕捉面部肌肉运动。
  • 预处理包括磁力计校准、热补偿、过滤和归一化。
  • 轻量级1D-CNN管道分两阶段分类手势：二元检测和六类识别。
  • 投票机制减少误报，确保可靠的实时交互。

结果

• 具体发现:
  • 静止场景：F1分数为0.971（用户定义）和0.898（用户独立）。
  • 骑行场景：F1分数为0.973（用户定义）和0.904（用户独立）。
  • 跨场景评估：F1分数为0.976（用户定义）和0.922（用户独立）。
  • 控制条件：在强光、风、颠簸路面和上坡骑行情况下，准确率为0.841–0.897。
  • 实时城市骑行：准确率为85.9%，误报率为每小时4.07次，延迟为643.11毫秒。
• 相较基线的优势: 与光学、电容和声学传感方法相比，MagFace表现出更强的环境抗干扰能力，并且功耗更低（峰值150 mW）。
• 实验/评估:
  • 手势引导研究（N=22）定义了一个以用户为中心的面部手势集合。
  • 在静止（N=15）、骑行（N=15）和控制条件（N=8）下进行性能评估。
  • 城市骑行实时可用性研究（N=14）将MagFace与语音交互（Siri）进行比较。
• 局限性与未来工作:
  • 由于行为适应性和环境限制，实际部署面临挑战。
  • 与处方眼镜的兼容性有限。
  • 未来计划包括自适应投票机制、更高密度的传感器阵列，以及集成到其他可穿戴设备如混合现实头显和潜水护目镜中。

总结

MagFace是一种专为骑行眼镜设计的抗干扰面部手势识别可穿戴系统。它结合磁传感和深度学习管道，在光线、风和震动等环境挑战下实现高精度和鲁棒性。评估结果显示，该系统在静止、骑行和现实城市场景中表现出色，实时使用的平均准确率达到85.9%。该系统为骑行者提供了一种安全、自然的免手操作交互方式，并具有在配送工作、水下交互、实验室环境和混合现实场景中的潜在应用。未来工作将致力于传感器密度优化、自适应投票机制，以及更广泛的可穿戴设备集成。