手持设备上带有接近传感器的手势估计的机器学习技术评估

DOI

使用手进行自然交互时，跟踪手指运动是一个常见的研究主题。对于虚拟现实（VR）应用中基于视觉的手指跟踪实现，手指运动会被手持设备遮挡，而手持设备又是辅助输入所必需的，因此使用摄像头跟踪手指运动仍然具有挑战性。表面使用电容接近传感器的手指跟踪控制器开始出现。然而，从弯曲的电容传感电极估计关节手姿势的研究仍不成熟。因此，我们建立了一个具有62个电极的原型，并使用光学跟踪系统记录了训练数据集。我们引入了2.5D表示方法，将卷积神经网络方法应用于弯曲表面的电容图像，并评估了基于计算机视觉领域最新成果的两种网络架构。我们还使用该原型实现了实时交互应用程序，并展示了在VR应用程序中使用手指进行直观交互的可能性。