Neo: 将混淆矩阵可视化推广到分层和多输出标签

视频

DOI

混淆矩阵是一种常用的可视化工具，帮助人们评估机器学习模型，它是一个表格布局，比较所有数据实例的预测类别标签与实际类别标签。我们与苹果公司的机器学习从业者进行了形成性研究，发现传统的混淆矩阵不支持现代应用中发现的更复杂的数据结构，如层次结构和多输出标签。为了表达这种混淆矩阵的变化，我们设计了一种将混淆矩阵建模为概率分布的代数。基于这种代数，我们开发了Neo，这是一个可视化分析系统，使从业者能够灵活地创建和与层次结构和多输出混淆矩阵进行交互，可视化派生指标，重新归一化混淆，并共享矩阵规格。最后，我们通过三个模型评估场景展示了Neo的实用性，这些场景帮助人们更好地理解模型性能并揭示隐藏的混淆。