理解并减轻众包收集主观判断中的工人偏见

从包含主观成分的任务（例如意见检测、情感分析）中获取的众包数据可能会受到参与任务的众包工作者内在偏见的影响。这可能导致带有偏见和噪声的基准数据，在用于训练机器学习模型或评估系统时传播这些不良偏见和噪声。在这项工作中，我们旨在了解工作者自己的观点对其在偏见检测这一主观任务中的表现的影响。我们分析了工作者的观点对其对应不同主题的标注的影响。我们的研究结果表明，观点强烈的工作者倾向于产生有偏见的标注。我们展示了可以通过减轻这种偏见来提高收集数据的整体质量。有经验的众包工作者也无法摆脱自己的观点来提供无偏见的标注。