什么是有吸引力的？对算法决策审查过程的看法

文献标题

What’s the Appeal? Perceptions of Review Processes for Algorithmic Decisions

文献信息

• 主题领域: 人工智能伦理及人机交互
• 关键词: 算法决策、可争议性、评审公平性、人类和算法评审、程序正义、算法透明性

研究背景与问题

• 问题或挑战:

  • 算法逐渐被应用于重要的决策场景（如学术成绩评定、刑事复发概率预测等），这些决策对个人有着深远影响。然而，在人类社会中，能够对决策提出申诉、纠错及追责是实现公平与正义的基石。
  • 存在许多设计糟糕的算法决策申诉流程，例如缺乏透明性、无法提供申诉渠道，或者干脆没有申诉机制。
  • 当前缺乏针对算法决策申诉流程的优化设计和明确指南。

• 重要性:

  • 一个公平的申诉过程不仅能够提升决策的公平性、合法性和信任度，还能够促进程序正义，保护个体权利，维护人的尊严和自主性。

• 研究动机与相关工作:

  • 现有研究较多关注人类决策公平性，而对于算法决策的申诉机制设计研究较为有限。
  • 文章将程序正义理论引入算法申诉机制设计，试图探索用户对不同申诉流程的感知，以提供设计启示。

解决方案

• 研究方法:

  • 基于情景的具体模拟研究：假设情景为一个贷款申请被算法系统拒绝，探讨对其评审和申诉流程的偏好。
  • 方法包括"基于选择的结合分析"和问卷调查，调查不同的评审方式及评审主体的公平性感知。
  • 对比三种评审流程：仅审核算法运行情况；基于原始数据重新决策；结合原始数据与新信息的决策。
  • 分析评审主体（人类 vs 算法）、评审时间（7天、30天、60天）对用户偏好的影响。

• 创新之处:

  • 首次系统性地对比了人类与算法评审主体在算法决策申诉过程中的公平性感知差异。
  • 综合程序正义理论、人类-算法决策差异感知，提供实证数据对设计算法申诉流程有指导意义。

• 实施步骤及关键技术:

  • 首先通过引入虚拟情景，使用户深入情景化。
  • 设置了多属性评估的构造分析，从中了解用户对评审主体、评审方式、时间等维度的偏好及相对重要性。
  • 补充定性分析，讨论用户感知背后的心理机制。

研究成果

• 具体成果:

  • 用户偏好：用户更倾向于选择及时（7天）的评审流程，具有新信息参与和提出异议的机会，并偏好由人类而非算法进行评估的流程。
  • 公平性感知：相比算法，人类评审被认为更加公平；允许用户参与表达意见的流程（即"具有话语权"）被认为最公平。
  • 定量结果显示：
    • 评审方式的类型是影响用户认知选择的最重要维度（贡献比为37.4%），其次是评审时间（36.8%），最后是评审主体（25.8%）。
    • 新信息条件下的流程显著比其他流程更公平。

• 实验或评估结果:

  • 在回归分析中，用户对人类评审公平性的认知与其对算法是否适合作出生活决策的态度具有显著相关性。
  • 定性分析揭示用户为何偏好人类评审，包括认为人类具有更大的灵活性、能够理解个人背景以及更具人情味的判断。

• 与现有解决方案的对比优势:

  • 当前对算法决策的申诉流程几乎没有明确标准或指南，而本研究提供了实证依据和设计启示。
  • 揭示了用户对于正义和公平性感知中的复杂心理结构，为设计更人性化的算法和评审流程提供了理论支持。

• 局限性与未来方向:

  • 局限性：
    • 情景模拟的外部效度可能较低，例如真实世界中的贷款拒绝可能引发更强烈情感。
    • 研究主要集中在贷款决策情境，不能直接推广至其他高影响的决策领域如医疗或教育。
    • 主要参与者来自于美国文化背景，结果可能不适用于其他文化。
    • 未详细区分不同开发主体（政府/私人机构）对用户公平性感知的影响。
  • 未来方向：
    • 探索其他决策领域（例如招聘或医疗诊断）对评审流程的需求。
    • 增加跨文化研究，了解不同文化对正义和算法的感知差异。
    • 对申诉流程中的个别设计细节（如具体的信息收集方式、用户反馈形式）做深入探索。

总结

本文通过实证研究对算法决策的申诉流程设计提供了重要性发现。用户偏向于及时进行且允许参与的新信息评审流程，同时人类评审因其可操作性、灵活性以及更强共情能力被认为更公平。研究补充了现有有关算法决策透明度和公平性的文献，为社会广泛关注的自动化决策问题提供了有价值的启示。