EyeFormer：使用Transformer引导的强化学习预测个性化扫描路径

视频

DOI

从视觉感知角度来看，现代图形用户界面（GUI）包含复杂的二维视觉空间布局，包含文本、图像和按钮、菜单等交互对象。虽然现有模型可以准确预测平均情况下可能吸引注意力的区域和对象，但没有扫描路径模型能够为个体预测扫描路径。为了弥补这一差距，我们引入了EyeFormer，它利用Transformer架构作为策略网络，引导深度强化学习算法预测注视位置。我们的模型提供了独特的个性化预测能力，只需给定少量用户扫描路径样本，即可跨个体和各种刺激类型预测完整的扫描路径信息，包括注视位置和持续时间。此外，我们展示了在我们模型驱动的GUI布局优化中的应用。