众包对机器学习公平预测器的感知：再犯率案例研究

在社会影响力过程中对算法决策的日益依赖，加剧了对无偏见且程序公平算法的呼吁。识别公平预测器是构建公平算法的关键步骤，但公平预测器选择中缺乏真实标签使这一任务具有挑战性。在我们的研究中，我们招募了 90 名众包工作者来判断各种再犯率预测器的纳入条件。我们将参与者分配到具有不同群体构成的三种条件中。我们的结果表明，参与者能够对预测器选择做出明智的决定。我们发现，当参与者身处更多样化的群体时，与多数投票达成一致的程度更高。呈现的工作流程提供了一种可扩展且实用的方法来触达多样化受众，使研究者能够在保护参与者隐私的同时捕获其公平感知，同时允许进行结构化的参与者讨论。