超越金钱激励：付费微任务竞赛实验

在本文中，我们旨在更好地理解付费微任务众包如何利用其吸引力和扩展能力，通过竞赛来提升众包绩效和参与度。我们介绍了基于微任务的标注平台Wordsmith，除金钱报酬外还提供积分、排行榜和徽章等激励措施。我们的分析聚焦于一种特定的激励措施——竞赛，作为在近实时场景中应用众包的手段，需求方需要快速获得标签。我们将众包竞赛建模为连续时间马尔可夫链，目标是将众包工人的产出最大化，同时改变一个参数，该参数决定工人是否根据其在排行榜上的当前排名有资格获得奖励。我们进行了实证实验，从CrowdFlower招募的众包工人在Wordsmith上执行标注微任务——在我们的案例中，是识别Twitter帖子中的命名实体。在实验条件下，我们测试了不同的奖励差距，并记录收到的标注总数。我们将结果与对照条件进行比较，在对照条件下，相同的标注任务是在没有时间或竞赛约束的情况下在CrowdFlower上完成的。实验表明，在实时竞赛中只奖励最佳贡献者可能是一种更快交付结果的可行模式，尽管对于某些类型的标注任务来说质量可能会下降。增加奖励差距会导致更多工作被完成，尤其是顶级参赛者。总体而言，这些实验揭示了付费微任务平台的可能设计改进，以提升任务性能和速度，并使众包工人的整体体验更加公平和有趣。