众包实验报告现状与改进实践的清单

众包作为运行人类被试研究的平台正被越来越多的采用。运行众包实验涉及多个选择和策略，以成功将实验设计移植到原本不受控制的研究环境中，例如：抽样众包工人、将实验条件映射到微任务，或确保高质量贡献。虽然已有若干指南为研究者提供这些选择方面的指导，但关于如何以及从众包实验报告中获取什么的指导却很大程度上被忽视。如果报告不足，实施选择就构成了可能影响实验可重复性并阻止对研究结果公平评估的变异来源。本文中，我们检查了众包实验报告的现状，并提供指导来解决相关报告问题。我们首先依靠现有文献和专家访谈识别合理的实施选择，然后广泛分析了171项众包实验的报告。基于这一过程，我们提出了众包实验报告的清单。