解释可解释性：理解数据科学家对机器学习可解释性工具的使用

视频

DOI

机器学习（ML）模型现在常规部署在从刑事司法到医疗保健的各种领域。随着这种新发现的普遍性，机器学习已经超越了学术界，发展成为一门工程学科。为此，设计了可解释性工具，以帮助数据科学家和机器学习从业者更好地理解机器学习模型的工作原理。然而，对于这些工具在多大程度上实现这一目标的评估却很少。我们研究了数据科学家对两种现有可解释性工具的使用情况，即GAMs的InterpretML实现和SHAP Python包。我们对数据科学家进行了情境调查（N=11）和调查（N=197），以观察他们如何使用可解释性工具来揭示构建和评估机器学习模型时出现的常见问题。我们的结果表明，数据科学家过度信任并错误使用可解释性工具。此外，很少有参与者能够准确描述这些工具输出的可视化内容。我们强调了数据科学家对可解释性工具的心理模型的定性主题。最后，我们讨论了对研究人员和工具设计师的影响，并将我们的发现置于社会科学文献的背景下。