推动公平的激励机制以激发有偿和无偿的众包贡献

研究背景与问题

• 作者发现了哪些问题或挑战？ 研究者和实践者同时依赖于付费的众包劳动者和未付费的贡献者，这两类人群的动机与编辑高质量数据的表现却很少得到持续研究。如何设计一个系统既能有效激励两类人群，又能保证数据质量是一个突出的挑战。

• 为什么这个问题很重要？ 持续维护动态信息，例如计算机科学教授信息的表格数据，对学术界和研究机构具有重大价值，例如支持学术分析、学生导师选择以及多样性研究等。然而由于贡献者动力不足或分布不均，系统长期维护难以保障。

• 研究动机与相关工作 先前的研究表明，人们会因多种内在（帮助他人、兴趣）和外在（报酬）的动机参与数据贡献。但少有探索如何在同一平台中平衡这些驱动力，特别是未付费贡献者（内在动机）与付费群体（外在动机）的有效结合。

解决方案

• 作者提出了哪些方法或解决方案？ 作者开发并维护了Drafty，一个开放的公共编辑平台，供任何人编辑计算机科学领域学术人员的数据表格。他们通过离散选择实验(Discrete Choice Experiment) 的形式，对用户（包括付费和未付费贡献者）进行全面的动机分析，同时结合其真实编辑行为，提供定量证据。

• 该解决方案的创新之处是什么？

  1. 混合方法研究：将离散选择实验和真实操作行为相结合，提供了动机和表现的综合分析。
  2. 公平激励设计推荐：提供了详细的系统设计建议，定量分析了公平和可感知的任务构建方式如何激励不同类型的贡献者。
  3. 实际系统验证：利用已经运行了9年的真实系统Drafty，研究其已有编辑历史和用户行为，具有较高的生态效度。

• 实施步骤是什么？使用了哪些关键技术？

  1. 发布真实任务：在Drafty中进行编辑实验，收集付费和未付费群体的贡献行为。
  2. 离散选择实验（DCE）设计：构建一套多属性的选择任务（例如支付水平、任务完成时间、任务有趣程度等），以量化用户偏好。
  3. 数据分析：结合任务完成准确性和受访者的离散选择实验数据，量化内在与外在动机对贡献的影响。
  4. 提出推荐：通过统计分析优化动机驱动因素（如高报酬对付费工作者的重要性，或对未付费用户任务趣味性的强调）。

研究成果

• 取得了哪些具体成果？

  1. 群体表现差异：
     • 未付费贡献者的编辑准确性高于付费众包劳动者，特别是涉及困难数据或领域知识的任务。
     • 未付费贡献者对于内在动机（如兴趣或帮助社区）的驱动力更强，而付费众包劳动者则更加看重外在动机（如报酬）。
  2. 任务驱动因素：
     • 普遍动机因素包括：任务有趣程度、帮助他人的可能性、任务所需时间和报酬。
     • 高度准确的贡献者（无论是否获报酬）更倾向于选择符合内在动机的任务。

• 与现有解决方案相比，它有哪些优势？

  • 提供了系统设计层面的具体指导，例如如何平衡内外在动机。
  • 在同一系统中同时捕捉付费与未付费用户的行为，对提升数据质量和公平激励设计提供了新视角和方法。

• 实验或评估结果是什么？

  • 付费劳动者在报酬低于$8/小时时，表现急剧下降，但提高报酬至$16/小时并未显著增加准确率。
  • 未付费贡献者对学术社区的贡献意愿更高，其编辑准确性在所有被研究的任务类型中均优于付费群体。

• 局限性与未来方向

  1. 局限性：
     • 数据来源于特定的计算机科学学术社区，可能限制了结果的普适性。
     • 研究主要针对一个单一的数据平台Drafty，未来需要在其他类型的公共数据系统中验证。
  2. 未来方向：
     • 探索如何跨平台利用混合动机驱动的模型。
     • 研究AI辅助和群体协作如何进一步挖掘动机因素。

总结

这篇论文通过Drafty系统和离散选择实验揭示了不同动机（内在/外在）在推动付费和未付费贡献者完成任务上的显著差异。它的最大贡献在于提出了如何构建更公平的激励机制以吸引准确性高的贡献者，无论是付费的工众包工作者还是未付费的普通用户。这种研究模式不仅为具体公共数据系统的建设提供了实用指导，也为未来更多公众参与型平台如何平衡人才组成和动机协调提供了全新启发。