重新人性化众包：一个解决机器学习中偏见和伦理问题的标记框架

近年来机器学习的广泛应用导致大量数据通过人类完成的众包微任务进行手动标记。这带来了去人性化的影响，即任务请求者忽视了任务背后的人，导致伦理问题（例如不公平的薪酬）和人类偏见的放大，这些偏见被转移到训练数据中并影响现实世界的机器学习。我们提出了一种考虑工人的人口统计学和薪酬等人类因素的微任务分配框架。我们将该框架部署到一个流行的众包平台上，并进行了实验，涉及1,919名工人，收集了160,345个人类判断。通过根据人口统计学和适当的薪酬将微任务路由给工人，我们的框架减轻了贡献者样本中的偏见，并增加了给予贡献者的每小时薪酬。我们讨论了潜在的扩展以及它如何促进众包的透明度。