TeethTap：基于运动与声学传感的耳佩式离散牙齿手势识别

文献标题

TeethTap: Recognizing Discrete Teeth Gestures Using Motion and Acoustic Sensing on an Earpiece

文献信息

• 主题领域: 基于耳机的非侵入式交互技术，利用牙齿动作识别用户手势
• 关键词: 牙齿手势, 无需视觉输入, 无需手输入, 运动感知, 声音感知, 耳机

研究背景与问题

• 问题与挑战:
  • 当前大多数输入技术要求手动操作，当双手被占用（例如拿物品）时，这些技术不方便。
  • 对于有身体障碍的人群，传统交互方式可能无法满足需求。
  • 现有系统大多基于复杂或入侵性强的设备（例如安装在脸部的相机或传感器），难以简化硬件结构且可能影响日常舒适性。
  • 声学传感器容易受噪声干扰，运动传感器在用户移动状态下可能失效。
• 研究重要性:
  • 提供一种轻量级、低入侵性、灵活的非手动互动方式，扩展设备的输入可能性。
  • 推进感知技术的跨模态融合研究。
• 研究动机与相关工作:
  • 研究借助声学和运动传感器解决牙齿手势识别问题。
  • 结合多种感知技术，提升手势识别的准确性与抗干扰性。

解决方案

• 方法/系统概述:
  • 提出TeethTap，一种可穿戴耳机，能通过运动传感器和声学传感器捕获13种离散牙齿手势。
  • 使用支持向量机（SVM）过滤噪声并结合动态时间规整（DTW）算法进行手势识别。
• 创新之处:
  • 使用运动感知（IMU传感器）和声学感知（接触式麦克风）结合的方法，降低单一技术的局限性。
  • 设计了涵盖位置（如前部、左侧、右侧、后部）和接触方式（单击、双击、按住）的完整手势集。
  • 提供一种可定制、方便佩戴的3D打印耳件，有效降低设备入侵性。
• 实施步骤与技术:
  1. 硬件设计: 采用3D打印耳机，包含两侧耳后的IMU传感器和接触麦克风。
  2. 数据处理管道:
     • 分段数据窗口，通过声学信号确定可能手势，再检测IMU运动数据。
     • 使用SVM模型区分手势与噪声。
  3. 手势分类:
     • 使用基于DTW距离的K最近邻算法（K=1）进行手势识别。
  4. 用户实验与分析: 收集用户行为数据，通过真实情境验证模型的性能。

研究成果

• 具体成果:
  • 系统在实验室环境下以90.9%的准确率识别13种牙齿手势。
  • 剖析了单侧与双侧传感器的区别：双侧传感器对于位置手势识别至关重要，但单侧传感器足以区分手势“方式”（单击、双击、按住）。
  • 即使设备重新佩戴后，系统的识别准确性依然维持在约85.3%。
• 与现有解决方案的优势:
  • 低入侵性: 比较其他直接放置在口腔内部的传感器方法，该系统佩戴舒适、易用。
  • 跨模态融合: 声音与运动融合方法能够有效减少噪声干扰。
  • 手势种类丰富: 提供13种不同手势，支持多场景、多目的应用。
• 实验与评估:
  • 测试场景包括单纯坐姿和动态活动（如行走、吃饭、跑步等），分类准确性与噪声过滤性能表现优异。
  • 激活手势（相当于“Hey Siri”）在模拟实际环境中未触发误报，但存在一定漏报。
• 局限性与未来方向:
  • 局限性:
    • 在动态场景中的表现未完全优化（如用户运动时的信号干扰）。
    • 训练模型需为每位用户个性化调整，设备位置变化可能影响性能。
    • 样本单一性：仅包含21-34岁的年轻用户，尚未探索老年或障碍人士表现。
  • 未来方向:
    • 增强在动态场景下的鲁棒性，探索高级机器学习技术。
    • 改善设备设计，例如固定位置以减少佩戴偏差。
    • 扩展人群范围，研究技术在老龄化用户群体甚至有运动障碍群体中的应用。
    • 集成到现有头戴设备（如耳机、眼镜）以提升商业化潜力。

以上为本文核心内容的简洁总结，清晰展示了研究问题、方法及成果。