DynamicLabels: 利用众包反馈支持机器学习标签集的明智构建

标签集构建——决定一组不同的标签——是构建监督机器学习应用的基本阶段,因为设计不当的标签集会对后续阶段产生负面影响,如训练数据集构建、模型训练和模型部署。尽管标签集构建很重要,但ML从业者很难提出一个明确定义的标签集,尤其是在没有外部参考资料的情况下。通过我们的形成性研究(n=8),我们观察到,即便是借助外部参考资料或领域专家,ML从业者仍需要经过多次迭代来逐步改进标签集。在这个过程中,收集有用反馈并利用它做出最佳改进决策存在挑战。为了支持明智的改进,我们提出了DynamicLabels,这是一个旨在通过众包反馈支持更明智的标签集构建过程的系统。众包工作者为ML从业者的标签集提供注释和标签建议,ML从业者可以通过多方面分析查看反馈,并使用众包生成的标签进行改进。通过使用两个数据集的受试者内部研究(n=16),我们发现DynamicLabels能够更好地理会和探索收集到的反馈,并支持更有结构和灵活的改进过程。众包反馈帮助ML从业者探索多样化视角、发现当前弱点,并从众包生成的标签中进行选择。DynamicLabels中的指标和标签建议有助于获取反馈的高层次概述、获得保证,并发现可能已被忽视的冲突和边缘情况。