FingerBar：利用手指产生声学的耳机空中触控条界面

文献标题

FingerBar: A Mid-Air Touch Bar Interface for Earphones Using Finger-Generated Acoustics

出版信息

• 主题领域: 基于被动声学感知的耳机中空中手势交互识别。
• 关键词: 空中手势、被动声学感知、耳机交互、摩擦声、手势识别、对抗训练、用户无关、噪声过滤、可穿戴技术、实时交互。

背景与问题

• 问题/挑战: 现有的耳机交互方式存在诸如不适感、卫生问题、手势集受限以及能效低下等局限性。基于主动声学感知的免触系统可能引入可听信号、听力风险及能耗负担。
• 意义: 解决这些问题可以提升用户体验，扩展交互能力，并提高耳机控制在多样化环境中的实用性。
• 动机与相关工作: 先前的研究探索了基于触控、面部、口部以及空中手势的交互方式，但面临手势有限、社会接受度低及噪声干扰等挑战。主动声学感知方法需要额外的硬件和能量支持。本文旨在利用现有耳机麦克风，通过被动声学感知实现空中手势识别。

解决方案

• 提出的方法: FingerBar——一种基于耳机的空中手势识别系统，利用麦克风捕获的手指摩擦声，无需主动信号传输。
• 创新点:
  1. 首个完全依赖被动声学感知的耳机空中手势识别系统。
  2. 手势过滤管道，用于抵抗环境噪声并排除非交互操作。
  3. 通过对抗训练实现无需个性化的用户无关手势识别。
  4. 实时原型评估展示了系统的可用性和鲁棒性。
• 流程与关键技术:
  • 音频预处理: 使用短时傅里叶变换（STFT）生成频谱图，裁剪保留12–22 kHz频率范围，并进行基于能量的过滤。
  • 手势识别: 深度学习模型采用ResNet-18骨干网络和领域对抗神经网络（DANN）提取用户无关特征。
  • 实时实现: 提供桌面版和便携版，优化延迟并降低功耗。

结果

• 具体发现:
  • 在安静、嘈杂和半开放环境中平均F1分数达到0.91。
  • 端到端延迟: 桌面版16.9毫秒，便携版48.5毫秒。
  • 功耗: 原型136 mW；商业部署估算为25 mW。
  • 对噪声、手部清洁度和轻微遮挡具有鲁棒性；受限于佩戴手套和耳朵完全遮挡。
• 相较基线的优势:
  • 被动感知无需主动信号传输，降低能耗和硬件需求。
  • 相较于现有系统，用户无关性和抗噪性能更优。
• 实验/评估:
  • 用户研究: 手势选择（N=32）、模块化评估（N=16）和可用性测试（N=12）。
  • 场景: 安静实验室、嘈杂办公室、户外环境及真实世界活动。
  • 指标: F1分数、混淆矩阵、延迟、功耗和用户反馈。
• 局限性与未来工作:
  • 在高频噪声环境和佩戴手套情况下性能下降。
  • 手势集有限；可通过更高信噪比的手势扩展。
  • 需针对老年人和极端场景进行额外数据收集。
  • 与商业耳机的集成及新部署策略的探索。

总结

FingerBar 提出了一种新颖的基于被动声学的耳机空中手势识别系统，利用现有麦克风捕获的摩擦声。该系统在多种条件下实现了高精度（F1分数: 0.91）和鲁棒性，并具有低延迟和低功耗的特点。用户研究证实了其实用性和可接受性。未来工作将聚焦于高噪声环境的适应性、手势集扩展以及在商业设备上的优化部署。该系统为可穿戴技术提供了一种有前景的、用户友好的交互方式。