设计混淆矩阵的替代表示方法以支持非专家公众理解算法性能

随着人工智能系统在我们社会中的部署日益增加，确保公众有效理解机器学习技术驱动的算法决策已成为紧迫任务。本研究通过重新设计二分类的混淆矩阵，向非专家展示机器学习模型的性能，向这一目标迈出了具体一步。通过访谈（n=7）和调查（n=102），我们绘制出普通人在理解标准混淆矩阵时面临的两大类挑战：通用术语和矩阵设计。我们进一步确定了矩阵设计方面的三个子挑战，即阅读数据方向、层叠关系和数量方面的混淆。随后，我们在累犯预测算法情境下进行了一项有 483 名参与者参与的在线实验，评估一系列替代表示方法对应对这些挑战的有效性。我们开发了三个级别的问题来评估用户的客观理解，并评估替代方法在回答问题的准确性、完成时间和主观理解方面的有效性。结果表明：（1）只有通过语境化术语才能显著提高用户表现；（2）帮助指出数据阅读方向的流程图在提高客观理解方面最为有用。我们的发现为开发更直观、更易理解的机器学习模型性能表示方法奠定了基础。