从用户与多个设备的交互中训练特定于个人的注视估计器

基于学习的凝视估计在实现关注用户的界面和数十亿配备摄像头的手持设备及环境显示器上的基于凝视的交互方面具有巨大潜力。虽然训练准确的独立于人和设备的凝视估计器仍然具有挑战性，但特定于个人的训练是可行的，但需要为每个目标设备收集繁琐的数据。为了解决这些限制，我们提出了第一个方法，用于在多个设备上训练特定于个人的凝视估计器。我们方法的核心是一个单一的卷积神经网络，具有共享的特征提取层和设备特定的分支，我们从面部图像和相应的屏幕凝视位置进行训练。在与五种常见设备（手机、平板电脑、笔记本电脑、台式电脑、智能电视）和三种常见应用（移动游戏、文本编辑、媒体中心）交互的新数据集上的详细评估证明了跨设备训练的巨大潜力。我们进一步探索了使用来自自然交互（如鼠标或触摸输入）的凝视位置进行训练。