AcouLetter：基于声学与惯性传感的智能手机空中字母拇指手势识别

移动交互本质上与屏幕绑定，需要用户看着并物理触摸设备来点击屏幕控制。我们引入了 AcouLetter，这是一个用于识别屏幕上方的精细空中字母拇指手势的系统，能够实现单手和非接触式输入。我们的方法将声学信号与惯性传感器数据融合，以辨别每个字母手势的细微特征，捕捉手部运动的动力学特性。我们采用多阶段架构，集成了用于声学特征的卷积网络和用于惯性数据的基于Transformer的网络。AcouLetter 首先使用惯性测量检测手势的initiation，确定哪只手拿着手机，然后对27个类别（包括26个字母和一个空手势）进行特定字母分类。该系统实现了高精度，并展示了在用户站立或行走时即使在环境噪音下也能稳健的性能。由于字母形状的手势具有意义且易于识别，它们支持一种直观的表达快捷方式系统，其中字母作为复杂功能的助记符。用户研究进一步证实了这种单手、非接触式交互方法的实用性。我们的结果表明，这种富有表现力的字母手势界面是 commodity 智能手机的一种可行的新交互模态。