Acoustic+Pose：利用声学表面近表面手势识别为智能手机添加输入模态

为了实现智能手机的空中交互，声学传感——一种使用智能手机内置扬声器和麦克风的技术——非常有前景。然而，由于内置扬声器和麦克风的布置，在触摸屏近表面检测手势仍然具有挑战性。为了解决这个问题，我们提出了Acoustic+Pose，这是一种将传统触控交互与近表面手势估计相结合的新方法，能够实现广泛的交互。我们专注于配备Acoustic Surface的智能手机，这是一种振动整个智能手机屏幕以在广泛区域发出声音的技术。我们使用这项技术将输入空间扩展到触摸屏的近表面。我们训练了机器学习模型来识别近表面区域的手势，并展示了使用识别的手势进行新型智能手机输入的交互技术。通过评估，我们确认训练后的模型以90.2%的准确率识别了10种手势。