众包评估机器学习模型的基于概念的解释

视频

DOI

构建可解释的人工智能系统的一个重要挑战是设计可解释的解释。人工智能模型通常使用人类可能难以解释的低级数据特征。最近的研究表明，将机器决策置于抽象的、人类可理解的概念中可能会有所帮助。然而，确定正确的概念映射级别是一个挑战。在本研究中，我们使用粒度（数据特征的粒度）和上下文（数据实例的上下文）作为确定这种概念映射的方法。基于这些度量，我们探索了为分类模型设计解释的策略。我们引入了一个端到端的概念获取流程，支持为给定数据集收集高级概念。通过众包实验，我们研究了提供概念信息如何影响解释的有效性，发现粗粒度和细粒度解释之间的平衡可以帮助用户更好地估计模型预测。我们将发现组织成系统性的主题，可为未来系统的设计考虑提供信息。