PenSight：笔尖相机的增强交互

视频

DOI

我们建议在数字平板笔的顶部上方安装一个朝下的摄像头。这创造了一个独特的实用视角，可以捕捉握笔的手和周围的环境，包括另一只手。描述了原型设备的制造过程，并探讨了启用的交互设计空间，包括主导手和非主导手姿态识别、平板握持检测、手势识别、捕捉环境中的物理内容以及检测用户和笔。开发了一个深度学习计算机视觉管道，用于分类、回归和关键点检测，以实现这些交互。示例应用程序演示了使用场景，并且定性用户评估确认了该方法的潜力。