TapNet：多任务学习CNN用于屏幕外移动输入的设计、训练、实现及应用

文献标题

TapNet: The Design, Training, Implementation, and Applications of a Multi-Task Learning CNN for Off-Screen Mobile Input

文献信息

• 主题领域: 人机交互；基于传感器的手势识别；多任务学习
• 关键词: 手势识别, 开屏设备交互, 加速度计, 陀螺仪, 多任务学习, 手机传感器, TapNet, 数据集, 深度学习

研究背景与问题

• 作者发现的问题或挑战:

  • 目前的移动设备交互大多依赖触摸屏，但这种方式存在一手操作困难、触摸屏遮挡视觉等局限性。
  • 少数现有研究探索了开屏交互，但多依赖附加硬件来实现复杂的手势识别，影响设备制造成本与便携性。
  • 相关领域的成果通常基于有限数据，并且仅能识别单一手势属性，甚至精度不够高。

• 问题的重要性:

  • 无硬件附加的开屏交互可扩大用户界面设计范围，使交互更便捷且不受视线遮挡影响。
  • 提供更精确的手势识别能提升手机使用体验，例如在手套或水下等触摸屏无法准确感知时。

• 研究动机与相关工作:

  • 本研究旨在通过改进技术模型，为实践中更高效、更丰富的开屏交互手势识别奠定技术基础。
  • 作者引用了现有的基于传感器检测手势的研究，并指出这些研究无法满足高精度、多属性识别的需求。

解决方案

• 提出的方法或解决方案:

  • 作者设计了TapNet，一个多任务学习的卷积神经网络（CNN），用于识别手机上的多种敲击属性。
  • TapNet的创新之处是将惯性测量单元（IMU，包含加速度计和陀螺仪）的数据作为主要输入，并辅以手机形状作为辅助信息。通过共享卷积层和输出分支，TapNet实现跨设备的数据联合学习和多任务并发预测。

• 实施步骤与关键技术:

  • 信号处理:
    • 通过简易门控机制根据加速度计的z轴信号过滤非敲击动作。
    • 提取一个120毫秒的特征窗口并对时间轴进行对齐。
  • 网络设计:
    • 使用单渠道CNN来高效提取六通道IMU信号的形状特征，并通过共享卷积层和分支实现多任务学习。
    • 任务包括敲击事件分类（是否敲击）、敲击方向分类、手指部位分类、敲击位置分类以及敲击位置回归。
  • 模型训练:
    • 在单人的多样化数据集（135,260样本）上进行训练，通过特定策略确保数据多样性。

研究成果

• 具体成果:

  • 提出了一个多任务学习模型TapNet，能够同时识别多个敲击属性，并实现跨设备的联合学习。
  • 开发了两个数据集（单人数据集用于训练，多人数据集用于测试），并通过实验建立了开屏敲击识别的基准。

• 与现有解决方案的比较与优势:

  • 相较于现有研究的传统机器学习或浅层神经网络，TapNet在敲击方向分类上的准确率提升了51%，在敲击位置分类上提升了161%，敲击位置回归上精度提升了30%。
  • 与单任务模型相比，TapNet通过共享计算显著减少运行时的内存需求和计算成本。

• 实验或评估结果:

  • TapNet在多人数据集上的测试表现优异，特别是在较高复杂度的任务（如敲击方向和位置分类）中显示显著优势。
  • 验证了通过单人数据集训练的模型可在简单任务（如事件检测和手指部位分类）上实现较高的跨用户泛化能力。

• 局限性与未来方向:

  • 当前模型对未见过的设备可能需要进一步训练才能应用，跨设备自适应能力尚未完全实现。
  • 高分辨率敲击位置分类仍需收集更精细的多人数据以提升性能。
  • 计划进一步扩展数据集和设备范围，并开发开源代码以促进跨领域应用和研究。

应用场景

• AssistiveTap: 提供基于背面敲击和倾斜操作的单手交互方案。
• ExplorativeTap: 支持视障用户结合屏幕和背面敲击选中屏幕对象。
• Interactive Wallpaper: 实现对壁纸对象的直接交互，例如锁屏上的资讯切换。
• Inertial Touch: 在触摸屏失效或弱化情况下（如戴手套）辅助识别敲击信息。

总结

TapNet基于手机内置IMU信号通过深度学习探索开屏交互的可能性，为人机交互设计提供了更多可能。模型成功验证了多任务学习与跨设备训练的潜力，并扩展了手机交互的设计空间。此外，本研究提供了可复现的基准成果、数据集和代码基础，促进了IMU传感器应用领域技术的进一步发展。