Agent支持的AI系统性风险前瞻：AI Agent拓展广度，专家提供判断

文献标题

Agent-Supported Foresight for AI Systemic Risks: AI Agents for Breadth, Experts for Judgment

出版信息

• 主题领域: 用于识别人工智能技术系统性风险的前瞻性方法。
• 关键词: AI系统性风险、前瞻性研究、计算代理、未来轮法、混合工作流程、技术成熟度等级（TRLs）、系统性后果、大型语言模型（LLMs）、风险评估、参与式方法。

背景与问题

• 问题/挑战: 由于认知局限性、缺乏长期思维以及风险的抽象性质，人工智能技术的系统性风险难以预见。现有的前瞻性方法受限于短期关注和有限的可扩展性。
• 重要性: 预测系统性风险对于负责任的人工智能治理至关重要，特别是对于可能对社会产生深远影响的新兴技术。
• 动机与相关工作: 以往关于前瞻性研究和人工智能风险评估的工作探索了推测性设计、参与式方法和分类法，但通常缺乏可扩展性，未能解决早期技术的系统性风险。最近大型语言模型（LLMs）的进展为增强前瞻性流程提供了新的机会。

解决方案

• 提出的方法: 结合计算代理和人类专家的混合前瞻性工作流程，利用未来轮法识别系统性风险。
• 创新点:
  1. 开发一个可扩展的管道，用于通过计算代理生成系统性风险。
  2. 对代理生成的风险与人类构思的风险在四个人工智能用例中的表现进行实证评估。
  3. 引入一个结构化评估标准，用于根据具体性、新颖性、可用性、适用性和多样性评估系统性风险。
  4. 提出一个混合治理工作流程，将代理用于广度探索，人类用于上下文判断。
• 流程与关键技术:
  1. 选择四个跨技术成熟度等级（TRLs）的人工智能用例：聊天伴侣（TRL 9）、AI玩具（TRL 7）、哀悼机器人（TRL 5）和死亡应用（TRL 2）。
  2. 使用六个计算代理实施未来轮法，通过Plurals框架生成级联后果。
  3. 将后果分类为风险和收益，并进行去重以创建无冗余的风险列表。
  4. 使用结构化评估标准和注释卡片由领域专家和领导者评估风险。
  5. 比较代理生成的风险与人类构思的风险在纯人类和人类+人工智能条件下的表现。

结果

• 具体发现:
  • 代理每个用例生成了27–47个独特的系统性风险，其中75–93%被领域专家判定为系统性风险。
  • 风险被评为可能性较高（平均可能性≥3.57）且严重性较高（平均严重性≥3.51）。
  • 代理生成的风险比人类构思的风险更广泛且更具系统性，特别是在低TRL用例中。
• 相较基线的优势:
  • 代理始终生成比人类更多的系统性风险（例如，每个用例21–32个 vs. 2–10个）。
  • 对于推测性用例，代理生成的风险更具新颖性和细节，但相比人类构思的风险更难以理解。
• 实验/评估:
  • 三项研究涉及290名领域专家和7名领域领导者，对四个人工智能用例的风险进行评估。
  • 评估指标包括系统范围、可能性、严重性、具体性、新颖性、可用性和适用性。
  • 人类+人工智能协作在数量上与仅代理输出相当或超过，但更侧重于较窄且较少系统性的风险。
• 局限性与未来工作:
  • 风险类别的多样性有限（例如，很少涉及环境风险）。
  • 依赖特定的大型语言模型；未来工作可以探索替代模型和提示。
  • 需要纵向和交叉方法以捕捉真实经历和长期影响。

总结

本研究提出了一种结合计算代理和人类专家的混合前瞻性工作流程，用于识别新型人工智能技术的系统性风险。通过未来轮法，代理扩展了搜索空间，在四个具有不同技术成熟度的人工智能用例中生成了大量系统性风险。人类评估者提供了上下文基础，强调情感深度和文化细微差别。研究结果突出了代理和人类在系统性风险评估中的互补优势，对人工智能治理和前瞻性决策具有重要意义。未来工作应解决主题偏差，整合交叉视角，并优化混合工作流程以实现更广泛的适用性。