使用智能眼镜揭示狗眼中的因果注意力

本研究旨在更好地理解狗的认知能力并支持相关研究。现有的调查方法主要依赖人工操纵的实验来检查狗对视觉刺激（如人类手势）的行为响应。因此，现有的实验范式通常局限于实验室环境，可能无法揭示狗对真实世界视觉场景的反应。此外，关于狗行为反应的视觉信号是从观察证据中经验性得出的，容易产生主观偏见并可能导致争议。我们通过研究一个具有挑战性的问题来克服或减少现有狗认知研究的局限性：从狗的眼动中识别可用于推断其行为因果解释的视觉信号，即估计因果注意力。为此，我们设计了一个名为Causal AtteNtIon NEtwork（CANINE）的深度学习框架，受益于深度学习中因果分析的最新进展来揭示狗的因果注意力机制。配备CANINE后，我们开发了第一款可穿戴眼镜设备，用于推断犬类佩戴者的视觉相关行为因果关系。我们通过将CANINE眼镜应用于多个代表性的狗认知研究实验场景来展示其技术可行性。我们还进行了各种现场试验，以展示CANINE眼镜在真实场景中的通用性。使用 proposed CANINE眼镜，我们收集了第一个大规模数据集DogsView，其中包含在广泛代表性场景中自动生成的犬类佩戴者因果注意力注释。DogsView数据集可在线获取，以促进研究。