算法风险评估可以改变高风险政府情境中的人类决策过程

视频

DOI

政府越来越多地在做出重要决策时转向算法风险评估（如是否在审判前释放刑事被告）。政策制定者断言，向公职人员提供算法将改善人类风险预测，从而带来更好的（例如更公平的）决策。然而，由于许多政策决策需要在降低风险与其他竞争目标之间取得平衡，提高预测准确性不一定能提高决策质量。通过一项包含2140名参与者的实验，模拟两个高风险政府情境，我们探讨了提高人类预测准确性的假设是否能够改善人类决策。我们提供了首个直接证据，表明风险评估可以系统性地改变人们将风险纳入决策的方式。这些转变抵消了预测准确性提高的潜在好处。在我们实验的审前设置中，风险评估使参与者在做决策时对感知到的风险增加更加敏感；这一转变将审前羁押的种族差异增加了1.9%。在我们实验的政府房屋改善贷款设置中，风险评估使参与者在做决策时更加规避风险；这一转变将政府援助减少了8.3%。这些结果表明，通过将预测算法纳入多方面的政策决策来改善公共政策的努力存在潜在局限性和危害。如果这些观察到的行为在实际中发生，向公职人员呈现算法将产生意外且不公正的公共政策转变，而不受民主审议或监督。