HandSee：使用前置摄像头立体视觉实现智能手机上的全手交互

我们介绍了HandSee，这是一种新颖的传感技术，可以捕捉用户的手触摸或握住智能手机的状态和动作。我们在前置摄像头放置一个直角棱镜镜，以实现触摸屏表面以上场景的立体视觉。我们开发了一条从单目RGB图像中提取手的深度图像的流水线，该流水线由三个部分组成：一种立体匹配算法来估计场景的像素级深度，一种基于CNN的在线校准算法来检测手部皮肤，以及一种合并算法输出手的深度图像。在此基础上，可以同时识别出大量有价值的交互信息，如手指的3D位置、握持姿势和手指身份。由于这种独特的传感能力，HandSee能够实现各种新颖的交互技术，并扩展智能手机上全手交互的设计空间。