(超越)合理怀疑：公共辩护人在法庭上审查AI时面临的挑战

文献标题

(Beyond) Reasonable Doubt: Challenges that Public Defenders Face in Scrutinizing AI in Court

文献信息

• 主题领域: 人机交互、算法公平性、人工智能在司法系统中的应用
• 关键词: 犯罪司法、算法决策系统、人工智能、可争议性、性能评估

研究背景与问题

• 发现的问题或挑战:

  • 公共辩护律师在美国刑事法律系统中，面对政府使用计算机法庭科学软件 (CFS) 来定罪和监禁时，面临如何评估和质疑CFS可靠性的问题。
  • 法官和陪审团对算法驱动的决策系统存在不够批判的态度。
  • 缺乏足够的资源和专业知识，对CFS的使用进行详细审查。

• 重要性:

  • 算法驱动的判决处于高风险决策位置，其中错误可能导致严重司法后果，例如错误定罪。
  • 科学化的调查和质疑过程对确保司法公正和减少技术滥用至关重要。

• 研究动机与相关工作:

  • 动机：明晰CFS的应用如何被质疑的实践限制，并探索如何使其更加责任化和透明化。
  • 相关工作：以往研究重点讨论审计算法的理论框架和公平性，但缺乏基于实际司法背景的研究。

解决方案

• 提出的方法或解决方案:

  • 通过对17位公共辩护律师和相关技术专家的访谈，分析辩护律师评估和质疑CFS过程中的挑战。
  • 提出支持辩护律师的建议，包括加强性能测试的设计、提供加强协作的工具以及改进相关政策。

• 创新之处:

  • 从公共辩护律师的视角探讨算法系统的透明性和可争议性问题，关注算法在司法中应用的实际表现。
  • 将技术的性能评估与社会和制度背景结合，提出跨学科合作和技能共享的改进建议。

• 实施步骤和关键技术:

  1. 访谈收集：用半结构化访谈法采访公共辩护社区成员。
  2. 数据分析：采用归纳性质性分析方法提取主题。
  3. 框架建构：基于研究发现提出政策建议并探索机构如何支持公众技术能力。

研究成果

• 具体成果:

  • 确定公共辩护律师在质疑CFS时面临三大主要挑战：困难的开发者和用户策略操作、不批判的法庭态度以及对专家知识的依赖。
  • 发现性能评估设计中存在重大局限，例如与现实司法场景的不匹配。
  • 提出跨学科协作及政策介入的重要性，为未来设计和沟通性能评估提供指导。

• 与现有解决方案的比较优势:

  • 提供基于真实司法场景的深度洞察，而不仅仅是理论层面的探讨。
  • 特别关注公共辩护律师如何评估算法可靠性的问题，针对高风险场景量身定制解决方案。

• 实验或评估结果:

  • 辩护律师面临来自技术、社会以及制度维度的多重障碍，限制了对CFS可靠性的质疑。
  • 实验证明，引入独立性性能评估及参与式评估设计可显著支持算法质疑过程。

• 局限性与未来方向:

  • 局限性：研究集中于公共辩护律师的视角，可扩展至其他司法相关利益方（如法官、检察官、被告）。
  • 未来方向：
    1. 研究如何更广泛地结合公众的直觉和技术专业知识以设计性能评估。
    2. 探讨司法对算法可靠性的认知与数据分析过程的融合点。

总结

文献通过实证研究揭示了公共辩护律师在质疑政府算法工具（如面部识别、基因分型工具）时面对的复杂挑战，同时提出了设计更加公平、可争议的算法系统性能测试的建议，并为社会技术交叉研究提供了深入的理论和实践支持。这项研究为确保算法在司法系统中得以责任化应用提供了重要参考。