基于触摸屏的白板远程交互手部追踪

视频

DOI

在基于白板的远程通信中，绘制内容与手屏交互的无缝融合对于沉浸式用户体验至关重要。以往的方法要么需要笨重的设备设置来捕获手部手势，要么无法从电容图像中准确追踪手部姿势。本文提出了一种从电容视频帧中精确追踪双手3D姿势的实时方法。为此，我们开发了一个深度神经网络来识别手部并从电容帧中推断手部关节位置，然后通过约束逆运动学求解器从手部关节位置恢复3D手部姿势。此外，我们设计了一个用于捕获高质量手屏交互数据的设备设置，并获得了更准确的同步电容视频和手部姿势数据集。我们的方法提高了电容帧3D手部追踪的准确性和稳定性，同时保持了远程通信的紧凑设备设置。我们在3D手部姿势追踪上验证了我们的方案设计及其优越性能，并展示了我们的方法在基于白板的远程通信中的有效性。