使用分析和深度学习方法建模人在现实网页上的视觉搜索性能

视频

DOI

视觉搜索的建模不仅提供了在实际对真实用户进行测试之前预测界面可用性的机会，而且还推进了对人类行为的科学理解。在这项工作中，我们首先对一个大规模的现实网页上的视觉搜索任务数据集进行了一系列分析。然后，我们提出了一种深度神经网络，该网络能够学习预测网页内容的可扫描性，即用户找到特定目标的难易程度。我们的模型利用了基于启发式的特征（如目标大小）和非结构化的特征（如原始图像像素）。这种方法使我们能够建模可能涉及在现实视觉搜索任务中的复杂交互，这是传统分析模型无法实现的。我们分析了模型的行为，以提供我们对模型学习的显著图与人类直觉如何一致的见解。