验证和维护动态变化表格数据的贡献者动机与表现的案例研究

同行生产数据集的生命周期经历增长、成熟和衰退阶段。向众包工人付费是收集和组织信息到结构化表格中的成熟方法，然而这些表格表示可能因错误或数据随时间变化而不准确。因此，数据集的成熟阶段可以从额外的人工审查中受益。提高准确性的一种方法是招募额外的付费众包工人来验证和纠正错误；另一种方法依赖于免费贡献者在正常使用期间共同编辑数据集。我们通过两个案例研究来检验动态变化表格数据人工验证和维护的不同策略。第一个案例研究检视了传统微任务验证策略与付费众包工人，而第二个案例研究检视了非众包工人的长期免费维护策略。两种付费验证策略以更低的每条准确纠错成本产生了更准确的纠错结果：冗余数据收集后由可信众包工人进行最终验证，以及允许众包工人自由审查任何数据。在免费维护策略中，当要求贡献者审查与其兴趣匹配的数据时，他们提供了更准确纠错。本研究确定了未来提升信息准确性和表格信息长期性的方法与思路。