众包试点研究报告现状：最佳实践与指南的反思

DOI

试点研究是众包活动设计的重要基石，但在学术文献中往往被一笔带过。众包研究中试点研究细节的缺乏阻碍了研究的复制和发现的复现，阻碍了潜在的科学发展。我们对众包与 HCI 研究交叉领域的试点研究报告现状进行了系统性文献综述。我们对十年文献的综述涵盖了发表在 AAAI HCOMP 会议论文集和 ACM 数字图书馆中的 171 篇文章。我们发现众包研究中的试点研究（即众包试点研究）在文献中往往报道不足。重要细节，如工人数量和工人报酬，往往未被报道。基于我们的发现，我们反思了当前实践状态，并为众包研究中众包试点研究的报告制定了一套最佳实践指南。我们还为众包平台设计提供了启示，并为支持众包试点研究报告提出了实践建议。