可解释性走向反面：有限理性在从业者理解机器学习中的作用

DOI

虽然可解释性工具本意是帮助人们更好地理解机器学习，但我们发现它们实际上可能会损害理解。本文呈现了一个预先注册、对照实验的结果，表明机器学习从业者（N=119）在使用可解释性工具时，任务时间减少了5倍，对数据和模型的准确度降低了17%。我们将有限理性作为这些发现的理论解释。有限理性假定人类偏离完全理性，通常通过满足于「足够好」的理解来实现。添加交互元素——一种常用于促进审慎思考和参与感的策略，在我们的实验中进行测试——也没有帮助。我们讨论了可解释性设计者和研究者需要考虑的相关影响，涉及认知和情境因素如何影响可解释性工具使用的效果。