没有问责制就没有可解释性：交互式机器学习中解释和反馈的经验研究

DOI

自动生成的关于机器学习（ML）模型推理过程的解释可以帮助用户理解和接受它们。然而，解释可能会产生意想不到的后果：促进过度依赖或破坏信任。本文探讨了解释如何塑造用户对ML模型的看法，无论他们是否有机会向模型提供反馈：（1）揭示模型缺陷是否能增加用户“修复”它们的愿望；（2）提供解释是否会导致用户错误地认为模型具有内省能力，因此会随着时间的推移而改进。通过两个控制实验——改变模型质量——我们展示了解释和用户反馈的结合如何影响感知，如挫败感和对模型改进的期望。当模型质量较低时，没有反馈机会的解释是令人沮丧的，而高质量模型的解释与反馈之间的相互作用表明，在没有解释的情况下不应要求详细的反馈。无论用户是否提供反馈或收到解释，他们都期望模型得到纠正。