面向AI责任基础设施：AI审计工具的差距与机遇

研究背景与问题

• 问题与挑战: 尽管AI审计逐渐成为揭示部署中的人工智能系统风险和局限性的重要手段，但执行有效AI审计仍困难重重。主要挑战包括方法的不统一、结果的不可靠，以及审计者缺乏访问必要信息的途径。
• 重要性: AI审计是实现人工智能问责和透明度的关键。然而，与金融和医疗等领域相比，技术行业的审计生态成熟度显然较低，不足以支撑全面的治理需求。
• 研究动机: 当前的工具虽旨在支持AI标准设定和系统评估，但在实际推动责任承担上常显不足。本研究旨在理解现有工具生态、分析实践者的需求，并识别扩大工具开发范围的机会。

解决方案

• 方法/解决方案:

  1. 数据收集: 通过对35位AI审计实践者的访谈，分析其工具需求与审计流程的挑战。
  2. 工具分析: 对435种现有审计工具进行分类和分析，构建工具的功能阶段模型。
  3. 发现与改进方向: 明确现有工具的局限和表现不足之处，并提供建议推动工具发展从单一评估走向支持全面问责的基础设施。

• 创新之处:

  • 本研究提供了对AI审计工具的一个全面景观分析，并详细分类从"危害发现"到"审计沟通与问责"的工具使用阶段。
  • 通过访谈和文献分析，界定何种工具能够真正满足问责实践需求，而不仅仅是支持技术指标的计算。

• 实施步骤:

  1. 绘制工具清单并创建初步分类。
  2. 针对实践者的需求，对分类方法进行迭代优化。
  3. 评估工具在每个阶段的覆盖范围，以及是否满足问责目标。

研究成果

• 具体成果:

  • 提出了一个AI审计流程的阶段性模型，涵盖了从发现系统和危害到推动社会问责的完整路径。
  • 发现当前工具的重点集中在评估工具上（例如性能分析和标准管理），但在危害发现、透明性基础设施、审计沟通以及倡导工具方面仍有重大缺口。
  • 明确了一系列关键痛点，如数据访问困难、标准化不足、工具保养与更新滞后等问题。

• 与现有解决方案的优势对比:

  • 本研究比现有研究更注重问责本身，而不仅仅是评估技术。
  • 比较全面地涵盖了从外部审计到内部审计、从技术工具到参与式工作的具体需求。

• 评估与实验结果:

  • 尽管现有77.9%的工具是开源的，但许多工具（特别是数据透明性和性能分析工具）缺乏对于问责机制的实际支持。
  • 工具开发显著集中于技术功能，而对多样化群体的参与性支持不足。

• 局限性与未来方向:

  • 工具数据主要采集自欧美市场，因此研究结论的全球适用性可能有限。
  • 后续需更多关注如何通过政策和法律支持扩展审计工具生态，以及开源工具在维持长期质量上的可行性。
  • 除了技术开发外，还应设计参与式问责工具，以支持多样化的社会群体共同治理AI。