CrowdCog：基于认知技能的众包异构任务分配与推荐系统

虽然众包工人通常在众包平台上完成各种任务，但目前没有广泛接受的方法将工人与不同类型的任务成功匹配。研究人员曾考虑使用工人人口统计数据、行为轨迹和既往任务完成记录来优化任务分配。由于所提出方法的局限性，最佳任务分配仍然是具有挑战性的研究问题，而这可能对众包的未来产生重大影响。我们 presents CrowdCog，一个在线动态系统，通过依赖快速进行的在线认知测试来估计工人在各种任务上的表现，从而执行任务分配和任务推荐。我们的工作拓展了先前强调工人认知能力对众包任务表现影响的研究。我们的研究部署在 Amazon Mechanical Turk 上，涉及 574 名工人和分布在四种典型众包任务（分类、计数、转录和情感分析）中的 983 个 HIT。我们的结果表明，与通用或随机任务分配相比，我们的分配方法和推荐方法都能带来显著的性能提升（5% 到 20%）。我们的发现为使用快速认知测试为众包工人提供稳健的推荐和分配开辟了道路。