Sprout：众包任务设计的群体赋能任务设计工具

虽然众包支持大规模数据收集，但确保高质量数据仍然是一个挑战。特别是，有效的任务设计几乎是每个众包成功案例的基础，但仍然难以实现。任务设计困难，因为它涉及一个昂贵的迭代过程：确定所需的工作输出类型，向工作者传达这一信息，观察工作者表现，理解模糊之处，修改指令，并重复这一过程直到输出令人满意。为了促进这一过程，我们提出了一个新颖的元工作流程，以及我们的开源工具Sprout，它实现了这一工作流程。Sprout通过以下方式改进任务设计：(1)从群体工作者中引出困惑点，(2)使请求者能够快速理解这些误解和整体问题空间，(3)指导请求者改进任务设计。我们报告了一项用户研究的结果，包含两个标注任务，表明请求者强烈偏好Sprout，并产生了比当前最佳实践（带有关工作者培训和测试工作流的指令）更高质量的指令。我们还为支持众包任务设计的未来工具提供了一系列设计建议。