两个工具优于一个:工具多样性作为提高聚合众包性能的手段
作者
众包任务设计与质量控制Amazon Mechanical Turk 工作者
众包是收集图像分割训练数据的常用方法,用于各种计算机视觉应用。然而,设计准确的众包图像分割系统具有挑战性,因为在图像中定义对象边界需要显著的精细运动技能和手眼协调,这使得任务容易出错。通常,特殊的分割工具被创建,然后聚合多个工作者的答案以生成更准确的结果。然而,个别工具设计可能会影响人们的错误方式,导致即使在聚合后仍会保留共同错误。本文中,我们引入了一种利用多个工具处理同一任务的新众包工作流程,通过减少工具本身引入的系统性错误偏差来提高输出准确性。当任务无法分解为更易处理的子任务时(这是微任务工作流的常规方法),我们的多工具方法可以通过为不同工作者分配不同工具来进一步提高准确性。我们进行了一系列研究来评估我们多工具方法的可行性,并表明它能够显著提高语义图像分割的聚合准确性。
研究问题 / 现实痛点
这篇论文在当前问题库中对应的问题线索。
当前问题库还没有收录这篇论文的问题与痛点。
- 100%
在众包微任务中使用工人自我评估进行基于能力的预选
CHI '18· 众包任务设计与质量控制
- 100%
承诺工作:通过众包进行在线志愿服务
CHI '19· 众包任务设计与质量控制
- 100%
HistoryTracker: 在棒球比赛标注中最小化人类互动
CHI '19· 众包任务设计与质量控制
- 67%
亚马逊 Mechanical Turk 上工人收入的数据驱动分析
CHI '18· 众包任务设计与质量控制 +1
- 67%
时间紧迫:按需众包工作中灵活性的影响和价值
CHI '18· 众包任务设计与质量控制 +1
- 67%
Bolt:通过即时培训实现即时众包
CHI '18· 众包任务设计与质量控制 +1
- 67%
专家众包中不可分解的大任务的在线排序
CHI '18· 众包任务设计与质量控制
- 67%
理解并减轻众包收集主观判断中的工人偏见
CHI '19· 众包任务设计与质量控制 +1
- 67%
付费众包平台上的创造力
CHI '20· 众包任务设计与质量控制
- 67%
中国众包:探索独立众包工作者和众包农场工作者的工作经验
CHI '20· 众包任务设计与质量控制 +1
基于研究子主题与职业分类的 Jaccard 相似度(≥60%)
快捷操作
一眼看懂
fact_check论文快照
dataset
来源
IUI
calendar_month
年份
2018
emoji_events
奖项
未标记奖项
group
作者
6 位作者
sell
研究子方向
众包任务设计与质量控制
work
职业/产业
Amazon Mechanical Turk 工作者
article
内容状态
仅摘要
hub
相关论文
10 篇相关论文