DeepFisheye：使用鱼眼相机实现的近表面多手指追踪技术

视频

DOI

近表面多手指追踪（NMFT）技术通过启用悬空和手指感知交互等新型交互，扩展了触摸屏的输入空间。我们提出了DeepFisheye，这是一种用于移动设备的实用NMFT解决方案，利用安装在触摸屏底部的鱼眼相机。DeepFisheye使用相机获取位于触摸屏上方进行交互的手部图像，并使用深度学习来估计每个指尖的3D位置。我们创建了两个新的包含鱼眼图像的手部姿势数据集，并在其上训练了网络。我们评估了DeepFisheye在三种设备尺寸上的性能。DeepFisheye在不同设备尺寸上显示指尖追踪的平均误差约为20毫米。此外，我们创建了简单的基于规则的分类器，用于从DeepFisheye的输出估计接触手指和手部姿势。接触手指和手部姿势分类器在不同设备尺寸上分别显示约83%和90%的准确率。