专家众包中不可分解的大任务的在线排序

众包任务设计与质量控制HCI 研究员Amazon Mechanical Turk 工作者

我们介绍了任务分配与排序(TAS)问题,该问题在涉及不可分解的宏任务的专家众包环境中建模在线优化。不可分解性是某些类型复杂问题的属性,例如研发方法的制定或研究方法的定义,这些问题不能通过微任务众包中通常使用的“分而治之”方法来处理。与将宏任务拆分为多个微任务并并行分配给多个工人的做法不同,我们的模型支持在给定时间线的不同时间槽中,工人依次改进宏任务,直到达到足够的质量水平。我们的模型假设了一个在线环境,在这种环境中,专家工人只在特定的时间槽中可用,且工人/任务到达情况事先未知。针对这一环境,我们提出了TAS-ONLINE,在线算法,旨在在预算、所需质量和给定时间线内尽可能多地完成任务,且无需任何关于工作发布时间或工人可用性的未来输入信息。将TAS-ONLINE与五个基准进行比较的实验结果表明,它实现了更多的完成任务数量、更低的流程时间和更高的任务质量。这项工作对希望在其提供的服务中整合不可分解的宏任务的专家众包平台在提供性能和质量保证方面具有实际意义。

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/papers/chi/5468/2018

广告推荐

学习 AI 编程到 CodeNow

一眼看懂

论文快照

fact_check
dataset
来源
CHI
calendar_month
年份
2018
emoji_events
奖项
未标记奖项
group
作者
2 位作者
sell
研究子方向
众包任务设计与质量控制
work
职业/产业
HCI 研究员、Amazon Mechanical Turk 工作者
article
内容状态
仅摘要
hub
相关论文
10 篇相关论文