ReflecTrace：通过角膜反射在普通智能手机上实现无触点悬停交互

我们提出了一种使用设备内置前置摄像头捕捉角膜反射图像来检测智能手机屏幕上手指悬停输入的方法。该方法无需外部传感器或硬件，能够在摄像头无法直接可见的近屏幕空间实现悬停输入检测。通过利用卷积神经网络（CNN），我们估计悬停手指的二维位置并将其分类到预定义的屏幕网格中。实验结果表明，我们的模型在粗网格中达到约95%的准确率，在更精细的划分中保持超过88%的准确率。此外，我们的系统展示了实时处理能力，在标准智能手机上的端到端延迟约为22毫秒。这些发现凸显了纯摄像头悬停感知的实际可行性，并暗示了广泛的无触点交互应用前景，使得在触控不理想时的无触点交互、预触达UI适配以及普通移动设备上的无障碍支持成为可能。