将深度学习应用于电容式触摸屏手指识别的可行性研究

触摸屏实现了直观的移动交互。然而，触摸输入仅限于二维触摸位置，难以提供类似硬件键盘和鼠标的快捷键和辅助操作。之前的研究提出了多种通过识别触摸屏幕的手指来提供辅助操作的方法，但这些方法基于外部传感器，使用不便。本研究使用移动触摸屏的电容图像来研究手指识别的可行性。我们收集了一个低分辨率指纹数据集，并训练了卷积神经网络来分类八种手指组合的触摸。重点关注涉及拇指和食指的组合，因为我们主要使用这两个手指进行交互。结果显示，左右拇指的位置无关识别准确率超过92%。我们对模型和两个用户认为有用且直观的用例进行了评估。我们公开分享了我们的数据集（CapFingerId），其中包含455709张来自代表性互电容触摸屏的各手指触摸电容图像，以及我们的模型，以支持未来工作对其进行使用和改进。