启用跨设备感应伴随语音的手部到面部手势识别

文献标题

Enabling Voice-Accompanying Hand-to-Face Gesture Recognition with Cross-Device Sensing

文献信息

• 主题领域: 人机交互、语音交互、多模态感知
• 关键词: 手势识别, 跨设备感知, 声学感知, 可穿戴设备, 传感器融合, 语音增强, 人机交互, 手部动作, 多模态交互

研究背景与问题

• 发现的问题或挑战:

  • 当前语音交互的模态控制（例如唤醒状态）存在挑战，因为语音中的模态信息通常是隐式的，现有的自然语言处理技术无法有效支持。
  • 用户需要重复关键词或主动切换目标设备，这增加了交互负担。
  • 现有研究多集中于单一手势控制或固定的语音-手势方案，尚未考虑设计更广泛的手势集合来增强语音交互。

• 重要性:

  • 手势与语音的组合能为互动提供并行语义信息，有助于扩展输入通道、简化语音界面流程并提高交互便捷性。
  • 手到脸的手势天然与语音相关，通过生成显著的声学特征（如阻断声音传播路径）可以用于感知和交互设计。

• 研究动机与相关工作:

  • 已有研究表明并行的身体手势可提高语音交互的准确性和灵活性，但更广泛的手势设计空间以及基于多设备传感融合的高效手势识别方法尚未被探索。
  • 在手势设计领域，手到脸的交互方式因其自然性和社会接受度而得到关注，如私人语音唤醒系统 PrivateTalk。

解决方案

• 方法或解决方案:

  • 作者提出了一种创新性的基于跨设备感知的语音伴随手到脸手势（VAHF）识别方法。该方法结合了多种感知通道（声学、超声波和惯性传感器），利用市售可穿戴设备如耳塞、手表和智能戒指实现手势识别。
  • 设计了一套由用户定义的8种VAHF手势集合，结合跨设备传感器数据融合实现手势识别。

• 创新之处:

  • 开发了一种新型的跨设备感知技术，能够融合耳机、手表和戒指等设备的异构传感器数据。
  • 提出了融合声学感知、超声波通道和IMU（惯性测量单元）数据的识别模型，结合深度学习技术实现高精度手势分类。
  • 实现了更广泛的手势交互空间，支持识别多达8种手势及其空手势。

• 实施步骤与关键技术:

  1. 手势设计: 通过用户调研与分层分析，从15种候选手势中选出了易操作、歧义度小且社交接受度高的8种VAHF手势。
  2. 数据采集: 使用无线耳塞、手表和智能戒指设备，采集涵盖8种手势及其语音伴随的多通道数据。
  3. 传感方案: 开发独立的声学模型、超声波模型和IMU模型，并结合传感器融合策略实现手势分类。
     • 声学模型利用麦克风数据提取声谱特征。
     • 超声波模型基于FMCW（频率调制连续波）估算手位置。
     • IMU模型捕获手部和手指运动特征。
  4. 数据融合: 探索基于特征级别和逻辑级别的融合策略，以提高模型性能。

研究成果

• 具体成果:

  • 提出了最终包含8种手势的VAHF手势集合，具有较好的易用性、社交接受性和低疲劳性。
  • 模型在跨设备手势数据集上实现了91.5%的8类手势识别准确率和97.3%的3类手势识别准确率。
  • 分析了每种传感器通道及其组合的区别，有助于未来设计更高效的传感器融合方案。

• 优势对比:

  • 与现有单设备或单手势方案（如PrivateTalk）相比，所提方法能够同时识别多种手势，扩展了语音交互的功能性和范围。
  • 利用多种传感器类型结合（如声学与IMU），可以在不同环境下（如嘈杂或安静）保证稳定性能。

• 实验或评估结果:

  • 实验显示，使用完整设备组合（耳塞、手表、戒指）的特征级融合模型表现最好（91.5%的准确率），而单耳塞配置精度显著下降。
  • 精简手势集合（3类手势）后性能提升至97.3%，实验证实了不同环境和设备组合下的实际适用性。

• 局限性与未来方向:

  • 当前实验主要在理想的室内环境中进行，缺乏对嘈杂环境或复杂背景的鲁棒性评估。
  • 高频超声波的使用可能引发健康和舒适性问题，有必要深入研究其安全性并探索替代感知技术。
  • 未来应优化硬件部署（如节能设计）并扩展手势库，同时改进模型以适用于更多实际场景。