透视 AI：通过目的游戏评估可解释 AI 技术的可解释性

可解释 AI（XAI）的最新发展旨在提高黑盒模型的透明度。然而，实证评估这些 XAI 技术的可解释性仍然是一个开放性挑战。最常见的评估方法是算法性能，但这种方法可能无法准确代表这些技术对人类的可解释性。一种不那么常见但不断增长的评估策略是众包workers提供关于多种 XAI 技术的反馈以进行比较。然而，这些任务通常感觉像工作，可能限制参与。我们提出了一种新颖的、以人为中心的评估 XAI 技术的方法：目的游戏（GWAP）Eye into AI，允许研究人员大规模收集人类对 XAI 的评估。我们进行了一项实证研究，展示我们的 GWAP 如何支持评估和比较三种流行的 XAI 技术（LIME、Grad-CAM 和特征可视化）之间以及与人类之间的一致性，并评估和比较这三种 XAI 技术在应用于图像分类的深度学习模型上的可解释性。从 Eye into AI 收集的数据提供了令人信服的证据，证明 GWAP 可用于评估和比较 XAI 技术。