专家众包中不可分解的大任务的在线排序
众包任务设计与质量控制HCI 研究员Amazon Mechanical Turk 工作者
我们介绍了任务分配与排序(TAS)问题,该问题在涉及不可分解的宏任务的专家众包环境中建模在线优化。不可分解性是某些类型复杂问题的属性,例如研发方法的制定或研究方法的定义,这些问题不能通过微任务众包中通常使用的“分而治之”方法来处理。与将宏任务拆分为多个微任务并并行分配给多个工人的做法不同,我们的模型支持在给定时间线的不同时间槽中,工人依次改进宏任务,直到达到足够的质量水平。我们的模型假设了一个在线环境,在这种环境中,专家工人只在特定的时间槽中可用,且工人/任务到达情况事先未知。针对这一环境,我们提出了TAS-ONLINE,在线算法,旨在在预算、所需质量和给定时间线内尽可能多地完成任务,且无需任何关于工作发布时间或工人可用性的未来输入信息。将TAS-ONLINE与五个基准进行比较的实验结果表明,它实现了更多的完成任务数量、更低的流程时间和更高的任务质量。这项工作对希望在其提供的服务中整合不可分解的宏任务的专家众包平台在提供性能和质量保证方面具有实际意义。
研究问题 / 现实痛点
这篇论文在当前问题库中对应的问题线索。
当前问题库还没有收录这篇论文的问题与痛点。
- 75%
Crowdlicit:一个用于进行分布式最终用户需求提取和识别研究的系统
CHI '19· 众包任务设计与质量控制 +1
- 75%
众包检测情感操控语言
CHI '20· AI 伦理、公平与问责 +1
- 75%
众包分层多标签文本注释的界面设计
CHI '23· 众包任务设计与质量控制 +1
- 75%
我们可以众包Tacton相似性感知和隐喻评价吗?
CHI '23· 振动反馈与皮肤刺激 +1
- 75%
推动公平的激励机制以激发有偿和无偿的众包贡献
CHI '25· 众包任务设计与质量控制 +1
- 75%
众包注释的可解释建模
IUI '19· 可解释人工智能(XAI) +1
- 75%
Sprout:众包任务设计的群体赋能任务设计工具
UIST '18· 众包任务设计与质量控制 +1
- 67%
在众包微任务中使用工人自我评估进行基于能力的预选
CHI '18· 众包任务设计与质量控制
- 67%
承诺工作:通过众包进行在线志愿服务
CHI '19· 众包任务设计与质量控制
- 67%
HistoryTracker: 在棒球比赛标注中最小化人类互动
CHI '19· 众包任务设计与质量控制
基于研究子主题与职业分类的 Jaccard 相似度(≥60%)
快捷操作
一眼看懂
fact_check论文快照
dataset
来源
CHI
calendar_month
年份
2018
emoji_events
奖项
未标记奖项
group
作者
2 位作者
sell
研究子方向
众包任务设计与质量控制
work
职业/产业
HCI 研究员、Amazon Mechanical Turk 工作者
article
内容状态
仅摘要
hub
相关论文
10 篇相关论文