Wikipedia ORES Explorer：机器学习API应用设计权衡的可视化

视频

DOI

随着人工智能（AI）系统在各行业应用的不断增长，预训练模型和API的出现大大降低了构建AI驱动产品的门槛。然而，AI应用设计新手在做出明智的设计决策之前，往往难以识别固有的算法权衡并评估模型公平性。本研究检查了Objective Revision Evaluation System（ORES），这是维基百科中用于构建反 vandalism工具的机器学习（ML）API。我们设计了一个交互式可视化系统，以传达ORES中的模型阈值权衡和公平性。我们通过对10名潜在ORES应用设计师进行深度访谈来评估我们的系统。我们发现我们的系统帮助具有有限ML背景的应用设计师了解上下文ML知识，识别固有的价值权衡，并做出与其目标一致的设计决策。通过在真实世界领域展示我们的系统，本文提出了一种促进AI应用设计更大切身性和人类能动性的新型可视化方法。