Back-Hand-Pose：基于手背变形网络的腕戴式摄像头3D手部姿态估计

自动识别人们自然状态下如何使用手指——无需在手指上佩戴设备——对许多移动计算应用很有意义。为实现这一界面，我们提出了基于视觉的3D手部姿态估计框架，使用腕戴式摄像头。主要挑战是腕戴式摄像头的倾斜角度，导致手指几乎不可见。为此，需要一个观察手背变形的特殊网络。我们引入了DorsalNet，这是一个双流卷积神经网络，用于从手背区域的时空特征（骨骼、肌肉和肌腱的运动）回归手指关节角度。这是首个使用手背区域视觉特征的基于视觉的实时3D手部姿态估计器。我们的系统对于用户特定模型的平均关节角度误差为8.81°，对于通用模型为9.77°。进一步评估表明，我们系统在动态手势识别方面比以往工作高出20%的准确率，并在检测11种不同抓取类型方面达到75%的准确率。我们还演示了三种使用该系统作为控制设备、输入设备和抓取物体识别器的应用。