PASTA：一个可扩展的多策略AI合规评估框架

文献标题

PASTA: A Scalable Framework for Multi-Policy AI Compliance Evaluation

出版信息

• 主题领域: 跨多项政策和司法管辖区的AI合规性评估。
• 关键词: AI合规性、政策评估、大型语言模型、模型卡、法规对齐、多政策治理、成本效率、可扩展性、可解释性、负责任的AI。

背景与问题

• 问题/挑战: 全球AI政策的快速扩展给从业者带来了重大挑战，尤其是那些缺乏法律专业知识的从业者，在多个司法管辖区内确保合规性尤为困难。现有工具通常仅限于单一政策评估，需要大量资源，或者对小型团队不可用。
• 重要性: 确保合规性对于降低风险、促进透明性以及建立对AI系统的信任至关重要。需要可扩展且成本高效的工具，使资源有限的从业者能够进行合规性评估。
• 动机与相关工作: 当前的解决方案，包括基于问卷的工具和代码扫描平台，通常缺乏灵活性、成本高昂，或仅限于已实施的系统。现有的模型卡和AI治理工具缺乏对多政策合规性评估的支持。本文通过引入PASTA，一个可扩展、自动化且可解释的合规性评估框架，填补了这些空白。

解决方案

• 提出的方法: PASTA（Policy Aggregator & Scanner for Trustworthy AI）是一个框架，利用大型语言模型（LLMs）对AI系统文档与多个全球政策进行评估，提供可解释且可操作的合规性洞察。
• 创新点:
  1. 为多政策合规性评估设计的专用模型卡输入模式。
  2. 一个将多样化法规标准化为一致、可分析格式的政策标准化流程。
  3. 包括政策分块和无关性映射在内的成本节约策略，以减少计算开销。
  4. 提供合规热图、摘要和可操作建议的交互式界面。
• 流程与关键技术:
  1. 用户填写一个轻量级模型卡，捕获系统级信息。
  2. 将政策标准化为段落级表格格式，以便一致性评估。
  3. 一个由LLM驱动的引擎对模型卡部分与政策条款进行成对比较，分配违规和相关性评分。
  4. 将结果聚合为可解释的输出，包括热图、摘要和问题修复表。

结果

• 具体发现:
  • PASTA的判断与专家评估高度一致（违规评分Spearman ρ = 0.626，相关性评分ρ = 0.761）。
  • 多政策评估在1.5–1.8分钟内完成，成本为$2.86–$3.06。
  • 添加新政策的边际成本为$4.44，耗时2.24分钟。
  • 用户平均在28.4分钟（标准差SD = 6.7）内完成模型卡输入。
• 相较基线的优势:
  • 通过无关性过滤减少了44.9%的评估量。
  • 支持单次运行中的多政策合规性评估，而基于问卷的工具需要为每项政策单独输入。
  • 提供可解释的输出，使从业者能够高效识别和解决合规性差距。
• 实验/评估:
  • 专家评估：由三位法律专家对324个部分-政策对进行评分，显示PASTA的输出与专家高度一致。
  • 可用性研究：12名AI从业者认为PASTA具有可操作性和可解释性，系统可用性量表（SUS）得分为73.5（SD = 15.2）。
• 局限性与未来工作:
  • 专家验证的规模有限；需要更大规模的研究。
  • 当前输出集中于政策特定的评估；未来可探索跨政策推理和冲突检测。
  • 参与者希望获得更强的整改指导和改进的可视化功能。

总结

PASTA引入了一个可扩展、成本高效的多政策AI合规性评估框架，解决了现有工具中的关键缺口。通过利用LLM、专用模型卡格式和成本节约策略，PASTA使从业者能够以最小的努力评估其系统是否符合多项全球政策。专家评估和用户研究表明其准确性、可用性和实际价值，使资源有限的团队能够进行合规性评估。未来工作将集中于扩展政策覆盖范围、增强整改指导以及探索教育和组织应用。