模型可解释性中的人为因素：行业实践、挑战与需求

随着机器学习（ML）模型在产品开发和数据驱动决策过程中的应用在许多领域变得普遍，人们对构建高性能模型的关注越来越多地转向理解模型的工作方式。虽然对模型可解释性的学术兴趣在HCI、ML等领域的研究社区快速增长，但对从业者如何在现有工作流程的背景下感知和实现可解释性知之甚少。对实践中可解释性的这种理解不足可能会阻止可解释性研究解决重要需求，或导致不切实际的解决方案。为了弥补这一差距，我们对22名行业从业者进行了半结构化访谈，以了解他们在计划、构建和使用模型时如何构思和设计可解释性。基于对我们结果的定性分析，我们区分了在大量使用ML模型的组织中存在的可解释性角色、流程、目标和策略。我们分析中出现的可解释性工作特征表明，模型可解释性经常涉及不同角色人们之间的合作和心智模型比较，通常旨在建立信任，不仅在人与人之间建立信任，而且在人与模型之间以及组织内部建立信任。我们提出了设计方面的启示，讨论了从业者在实践中面临的可解释性挑战与文献中提出的方法之间的差距，突出了可以更好地满足实际需求的研究方向。