理解准确性对机器学习模型信任的影响

我们探讨了人机交互的一个相对较未被探索的方面：人们理解机器学习模型在保留数据上的声明性能与其部署后的预期性能之间关系的能力。我们进行了大规模的随机人类受试者实验，以检查普通人的信任度，即他们在多大程度上根据模型的预测来修正自己的预测以及他们对模型的自我报告的信任水平，是否取决于模型在保留数据上的声明准确性和其实际观察到的准确性。我们发现，人们对模型的信任受到其声明准确性和观察准确性的双重影响，并且声明准确性的影响会根据观察准确性而变化。我们的工作与最近关于可解释机器学习的研究相关，但超越了通常对模型内部的关注，探索了机器学习管道中的不同组成部分。