合规但令人不满意：概率基因分型软件审计标准与实践之间的差距

文献标题

Compliant But Unsatisfactory: The Gap Between Auditing Standards and Practices for Probabilistic Genotyping Software

出版信息

• 主题领域: 刑事司法领域中法医概率基因分型软件的审计标准。
• 关键词: 概率基因分型软件、法医科学、审计标准、问责机制、ASB 018、DNA分析、算法审计、刑事司法、人工智能治理、验证研究。

背景与问题

• 问题与挑战: 当前的审计标准（如ASB 018）允许审计在形式上符合要求，但未能实现其预期目标，导致在法医环境中无法充分保证软件的可靠性。
• 重要性: 概率基因分型软件（PGS）在刑事审判中发挥着关键作用，影响司法决策。不充分的审计可能会削弱DNA证据的可靠性，并损害公众对法医科学的信任。
• 动机与相关研究: 虽然已有研究强调算法审计和问责标准的重要性，但在理解审计标准设计如何导致“审计漂白”（audit washing）方面仍存在空白——即审计为不充分的系统提供了可信度。本文通过ASB 018的视角研究这些空白。

解决方案

• 提出的方法: 对ASB 018及五份审计报告进行定性分析，以识别预期目标与实际实践之间的差距，以及标准设计如何促成这些差距。
• 创新点:
  1. 识别ASB 018目标与五个审计阶段的合规实践之间的具体差距。
  2. 突出ASB 018设计中促成这些差距的特性，例如模糊的语言和未定义的术语。
  3. 提出设计更有效审计标准的建议，以确保问责机制。
• 程序与关键技术:
  • 分析五份公开的PGS审计报告，评估其与ASB 018的合规性。
  • 使用五个审计阶段的框架（例如审计范围、标准识别）评估ASB 018目标与实践之间的差距。
  • 对ASB 018的要求进行定性编码，以识别促成这些差距的设计特性。

结果

• 具体发现:
  • 分析的五份审计报告均符合ASB 018的要求，但未能实现其预期目标。
  • 主要差距包括：未充分评估更广泛的社会技术系统、未定义可证伪的性能预期，以及缺乏供第三方审查的充分文档。
  • 实验室通常将软件故障描述为可接受或预期的，从而避免设定软件使用的边界。
• 相较基线的优势: 本研究并未提出新系统，而是对现有标准（ASB 018）进行批判性评估并识别改进领域。
• 实验与评估:
  • 数据: 五份审计报告，涵盖不同实验室、软件版本及年份（2016–2024）。
  • 指标: 对ASB 018逐条要求的合规性；实践与预期目标的一致性。
  • 方法: 定性编码与主题分析。
• 局限性与未来工作:
  • 依赖审计报告作为实际实践的代理。
  • 由于公开报告数量有限，代表性不足。
  • 未来工作应研究更广泛的利益相关方观点，并探索定量方法验证研究结果。

总结

本文通过分析五份审计报告，研究了ASB 018这一法医概率基因分型软件审计标准的有效性。研究发现，该标准的目标与其促成的实践之间存在显著差距，例如未充分评估用户输入和文档不足。这些差距源于ASB 018设计中的缺陷，包括模糊语言和未定义术语。作者建议更清晰地阐明目标、增加要求的具体性，并与多样化的利益相关方共同设计标准。这些发现对于提升法医科学的问责机制以及确保刑事审判中DNA证据的可靠性至关重要。