两个工具优于一个:工具多样性作为提高聚合众包性能的手段

众包任务设计与质量控制Amazon Mechanical Turk 工作者

众包是收集图像分割训练数据的常用方法,用于各种计算机视觉应用。然而,设计准确的众包图像分割系统具有挑战性,因为在图像中定义对象边界需要显著的精细运动技能和手眼协调,这使得任务容易出错。通常,特殊的分割工具被创建,然后聚合多个工作者的答案以生成更准确的结果。然而,个别工具设计可能会影响人们的错误方式,导致即使在聚合后仍会保留共同错误。本文中,我们引入了一种利用多个工具处理同一任务的新众包工作流程,通过减少工具本身引入的系统性错误偏差来提高输出准确性。当任务无法分解为更易处理的子任务时(这是微任务工作流的常规方法),我们的多工具方法可以通过为不同工作者分配不同工具来进一步提高准确性。我们进行了一系列研究来评估我们多工具方法的可行性,并表明它能够显著提高语义图像分割的聚合准确性。

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/papers/iui/7690/2018

广告推荐

学习 AI 编程到 CodeNow

一眼看懂

论文快照

fact_check
dataset
来源
IUI
calendar_month
年份
2018
emoji_events
奖项
未标记奖项
group
作者
6 位作者
sell
研究子方向
众包任务设计与质量控制
work
职业/产业
Amazon Mechanical Turk 工作者
article
内容状态
仅摘要
hub
相关论文
10 篇相关论文