PalateTouch：启用声带作为触控板，使用声学感应与耳机交互

研究背景与问题

• 发现的问题与挑战
  作者指出现有的耳机交互方式（手势或触控）的局限性，例如手势交互会导致手臂疲劳、不适合老年人或残障人士；而语音输入又存在隐私问题且容易受到环境噪声的干扰。此外，现有的基于口腔活动或者耳道变形的交互方法需要昂贵的硬件设备、操作不便或无法满足用户日常使用需求。

• 重要性
  随着耳机成为日常生活中的普及设备，开发隐私保护性强、成本低、非侵入式且能适应不同用户使用习惯的耳机交互技术显得尤为重要。

• 研究动机与相关工作
  作者基于耳机内置的传感器，提出了一种利用声学感知来识别舌头与上颚间触碰位置从而实现交互的新方法。通过研究口腔相关交互系统、基于耳道变形的技术和声学感应技术，作者发现在可用性、成本和隐私保护方面存在显著改进空间。

解决方案

• 方法或解决方案 作者提出了PalateTouch系统，其核心思想是将“上颚”视为触控板，“舌头”作为点击工具。通过耳机内置麦克风和扬声器，发送超声波信号并采集反射信号，识别耳道因口腔活动产生的细微形变，并根据这些形变识别不同的舌头–上颚触碰手势。

• 创新之处

  1. 提出了基于耳机传感器的声学感知方法，消除了对额外硬件的需求。
  2. 利用正常化传递函数消除佩戴方式和个体差异的影响，实现用户独立的手势识别。
  3. 设计了一种实时手势识别流水线，通过监控舌头–上颚触碰位置的时间变化精准识别手势。

• 实施步骤与关键技术

  1. 信号生成：设计Zadof-Chu（ZC）序列作为探测信号，并通过频域调制技术优化信号特性。
  2. 耳道传递函数提取：通过去除直达声干扰，提取耳道反射信号的频率响应，并计算标准化传递函数。
  3. 手势识别流水线：
     • 确定舌头是否在触碰上颚，并甄别7个触碰位置。
     • 根据位置序列匹配模板，识别滑动及点击手势。
  4. 自动化校准：设计了标准域自动校准算法，以解决佩戴位置及重新佩戴对系统性能的影响。

研究成果

• 具体成果

  1. 能够识别9种手势（5种点击手势和4种滑动手势），平均F1分数为0.92，误报率仅为0.02。
  2. 在16名参与者的实验中，PalateTouch显示了出色的用户独立识别性能。
  3. 在实时应用中（如视频播放软件），系统表现出较高可用性。
  4. 针对多种环境噪声（如餐厅和户外噪声）和身体姿势变化下进行了评估，表现出良好的鲁棒性。

• 与现有解决方案相比的优势

  1. 完全基于耳机内置传感器，硬件成本与现有耳机硬件兼容，无需额外设备。
  2. 交互隐蔽性更高，适合隐私敏感场景。
  3. 提供自动校准功能，支持不同用户和重复佩戴。

• 实验或评估结果

  1. 在不同佩戴方式下（初始佩戴、重新佩戴等），通过自动化校准，使得系统性能稳定（重新佩戴后的F1分数为0.916）。
  2. 在噪声环境（如55 dB的实验室噪声、91 dB的酒吧噪声）下性能仅受到轻微影响。
  3. 支持在多种身体姿势（如低头、行走）以及音乐播放背景下操作，准确率未显著下降。
  4. 用户研究中，用户的系统可用性得分（SUS）为85.7/100，显示出较高的满意度。

• 局限性与未来方向

  1. 无线耳机实现：当前系统使用有线连接，未来需要实现无线版本以适应主流无线耳机。
  2. 高强度运动：系统在用户进行高强度运动（如跑步）时的性能尚有不足，需进一步提升鲁棒性。
  3. 功耗问题：现有实现的功耗较高，需优化硬件电路并降低功耗。
  4. 交互扩展：当前定义的交互手势为9种，未来可通过更精细的舌尖轨迹识别扩展交互指令集。

总结

PalateTouch突破了以往基于口腔活动的交互技术的局限，提出了一种低成本、高隐私、防干扰且用户独立的耳机交互方式。在未来的研究与开发中，进一步优化功耗与鲁棒性，扩展手势交互范围以及实现无线设备兼容性，有望让该系统更加适用于实际生活中的各种使用场景。