PolicyPad：LLM策略的协作原型设计

文献标题

PolicyPad: Collaborative Prototyping of LLM Policies

发布信息

• 主题领域: 在高风险领域中为大型语言模型（LLMs）协作设计政策。
• 关键词: LLM政策、AI对齐、协作设计、用户体验原型设计、心理健康、法律领域、AI安全、政策迭代、实时协作、人类中心AI。

背景与问题

• 问题/挑战: 现有的LLM政策通常较为封闭，缺乏领域专家的输入，未能解决心理健康和法律等高风险领域中的关键安全问题。支持协作政策设计的工具十分稀缺。
• 重要性: LLM政策对于透明且负责任地管理AI行为至关重要，尤其是在模型输出可能产生重大后果的监管领域。
• 动机与相关工作: 之前的研究探讨了AI对齐、红队测试和参与式评估，但尚未关注协作政策设计工具的开发。在帮助领域专家迭代设计和测试LLM行为治理政策方面存在空白。

解决方案

• 提出的方法: PolicyPad，一个用于协作设计LLM政策的交互式系统，灵感来源于用户体验原型设计实践，如启发式评估和故事板设计。
• 创新点:
  1. 将“LLM政策原型设计”概念化为一种协作、迭代的政策设计过程。
  2. 开发PolicyPad系统，集成实时协作、基于场景的测试和启发式评估。
  3. 对PolicyPad进行领域专家的实证评估，证明其能够促进协作并生成创新政策。
  4. 识别出创新政策贡献，例如关于转向人类专家的指导方针以及获取关键用户信息的策略。
• 流程与关键技术:
  1. 专家在共享编辑器中协作起草政策。
  2. 使用代表真实世界AI应用的场景来引导讨论并测试基于政策的模型行为。
  3. 通过迭代反馈循环，专家根据模型响应优化政策。
  4. 启发式方法指导高层次政策设计，同时交互式小部件和聚焦场景促进协作与测试。

结果

• 具体发现:
  • 使用PolicyPad创建的政策中有51.9%是创新的，而基线系统仅为18.2%。
  • 创新政策包括关于转向人类专家的具体指导方针、紧急情况的程序规则以及获取关键用户信息的策略。
• 相较基线系统的优势:
  • PolicyPad生成的创新政策数量是基线系统的4倍。
  • 与基线系统相比，协作动态更强，讨论更丰富，工作流程更有结构性。
• 实验/评估:
  • 在22位领域专家（心理健康领域10人，法律领域12人）组成的8个小组中进行。
  • 任务包括起草对话语气和安全防护措施的政策。
  • 评估指标包括政策创新性、专家评分和定性反馈。
• 局限性与未来工作:
  • 地理多样性有限（参与者主要来自美国）。
  • 场景可能无法完全涵盖真实世界用例的多样性。
  • 未来工作可以探索扩大政策原型设计规模、解决专家意见分歧以及整合全球视角。

总结

本文介绍了PolicyPad，一个用于协作设计LLM政策的系统，使领域专家能够实时起草、测试和优化政策。通过与22位心理健康和法律领域专家的研讨会，PolicyPad展示了其促进协作并生成创新政策的能力，解决了关键安全问题。主要贡献包括转向人类专家的指导方针、紧急情况的程序规则以及获取关键用户信息的策略。未来工作可以扩大参与者的地理和文化多样性，并探索政策原型设计的规模化，以实现更广泛的参与式AI治理。