AI辅助人工标注：批量处理提升效率而不致过度依赖

视频

DOI

人工标注训练数据通常是机器学习中耗时且昂贵的部分。在本文中，我们研究"批量标注"，这是一种AI辅助的用户体验范式，通过允许单个标注操作应用于多条记录来帮助数据标注者。我们在Mechanical Turk上进行了大规模研究，共有156名参与者，调查标注者与AI批量系统的交互。我们将该系统与单项目标注界面（即一次标注一条记录）进行对比，评估批量标注对准确性和时间的影响。我们进一步研究了AI算法质量及其对标注者过度依赖的影响，以及缓解过度依赖的潜在机制。我们的工作为批量标注系统的设计以及关注标注者与AI批量系统交互的工作实践提供了启示。