理解主观属性标注中图像批次采样对人类annotation者的影响

视频

DOI

随着图像分类器的应用领域多样化，在数据采集过程中获取人类标注者的主观反应变得至关重要。然而，在这种场景下，以可靠且成本高效的方式获取人类标注者的反应是一项重大挑战。为弥补这一差距，我们致力于理解在批量图像标注中应用不同的排序策略如何影响人类标注者的标注表现。我们特别开发了三种不同的排序策略：1) 基于不确定性的标注（UL），一种优先呈现分类器预测不确定性最高的图像的排序策略；2) 基于确定性的标注（CL），作为 UL 的反向策略，优先呈现预测概率最高的图像；3) 随机策略，作为基准方法，在批量形成中随机选择一组图像。尽管 UL 和 CL 是基于分类器视角选择待呈现的图像，我们假设人类标注者的感知和标注表现可能因不同排序策略而异。我们在研究中确定，参与者能够识别三种条件下感知认知负荷的差异（CL 最容易，UL 最困难），同时发现标注可靠性（CL 和 UL 比随机策略更可靠）与任务效率（UL 最有效，CL 最差）之间存在权衡。基于结果，我们为可能考虑在不同排序策略下大规模收集主观任务图像标签的数据科学家讨论了设计含义，并提出了未来可能的研究领域。