算法风险评估对人类预测的影响及其通过众包研究的分析

视频

DOI

随着算法风险评估工具（RAIs）越来越多地被采用以辅助决策者，其预测性能和公平性属性受到了审查。然而，虽然大多数研究单独考察这些工具，但研究者已认识到评估其影响需要了解人类交互对象的行为。本文基于近期聚焦于刑事司法的众包研究，进行了一项让普通人预测未来再逮捕的案例研究。主要发现如下：（1）参与者经常预测罪犯会被再逮捕，即使他们认为再逮捕的可能性远低于50%；（2）参与者不依赖于RAI的预测；（3）完成调查的时间差异很大，大多数案例在10秒内被评估；（4）与参与者的预测不同，司法决策部分取决于与再犯可能性无关的因素。这些结果突出显示了构建众包研究以分析RAI影响时若干关键但常被忽视的设计决策和可推广性方面的担忧。