关于人机协同的案例：在算法评分错误存在情况下的决策

视频

DOI

在敏感领域中算法预测的使用增加伴随着热情和担忧。为了理解这些技术的机会和风险，关键是要研究专家在使用这些工具时如何改变他们的决定。在本文中，我们研究了一种用于协助儿童虐待热线筛选决策的算法工具的采用情况。我们关注的问题是：人类是否能够识别机器出错的情况，并否决这些建议？我们首先展示了人类在部署该工具时确实改变了他们的行为。然后，我们展示了当显示的分数是风险的错误估计时，人类更不可能遵循机器的建议，即使否决建议需要主管批准。这些结果突出了完全自动化的风险以及设计提供人类自主权的决策管道的重要性。