Botender：通过基于案例的挑衅支持社区协作设计AI代理

文献标题

Botender: Supporting Communities in Collaboratively Designing AI Agents through Case-Based Provocations

出版信息

• 主题领域: 为在线社区协作设计AI代理。
• 关键词: AI代理，协作设计，大型语言模型，在线社区，基于案例的启发，机器人定制，参与式设计，提示工程，Discord，人机交互。

背景与问题

• 问题/挑战: 在线社区中的机器人通常由外部开发者或少数技术熟练的成员设计，导致定制化程度有限，且难以满足社区特定需求。非AI专家在协作设计机器人时面临挑战，包括对单一场景的狭隘关注、缺乏建立共识的流程以及技术障碍。
• 重要性: 不符合社区需求的机器人可能导致不良的社区影响，例如阻碍参与或无效地执行规范。通过参与式方法，社区可以设计出符合其集体价值观和需求的机器人。
• 动机与相关工作: 先前的研究探讨了个人提示设计、协作机器学习模型设计以及在迭代设计中使用具体案例。然而，支持非专家协作设计适合其社区的机器人的工具仍然研究不足。

解决方案

• 提出的方法: Botender，一个通过基于案例的启发（即旨在引发对机器人行为反思和讨论的交互场景）来支持社区协作设计LLM驱动机器人的系统。
• 创新点:
  1. 引入基于案例的启发，用于迭代和协作设计机器人。
  2. 集成了一个协调的工作流，用于提议、迭代和部署机器人行为。
  3. 无缝集成到Discord等社区平台中以鼓励参与。
  4. 通过算法研究和真实场景的实地研究验证了该方法。
• 流程与关键技术:
  1. 用户通过Web界面或实验功能提出机器人行为更改建议。
  2. Botender生成基于案例的启发，以突出提示中的模糊性、过于狭隘的内容或意外后果。
  3. 社区成员审查、讨论并通过测试案例迭代优化机器人提示。
  4. 在达成共识后部署提案，并通过Discord发送通知。

结果

• 具体发现:
  • 与标准测试案例相比，Botender的基于案例的启发在启发性（4.1对3.5）和争议性（3.9对3.2）评分上更高。
  • 在一项实地研究中，参与者在六个Discord社区中创建了137个提案和800个测试案例，并部署了69项定制任务。
  • 96%的参与者表示有兴趣继续使用Botender。
• 相较基线的优势: Botender的启发揭示了更多机器人改进的机会，暴露了分歧，并比标准测试案例更好地支持迭代设计。
• 实验/评估:
  • 一项包含90名参与者的验证研究，将Botender的启发与标准测试案例进行了比较。
  • 在六个Discord社区（每个社区成员数量为5–429人）中进行为期五天的实地研究，以测试其在真实场景中的适用性。
  • 评估指标包括参与者对启发性、争议性、覆盖范围和测试案例多样性的评分。
• 局限性与未来工作:
  • 当前的启发未能解决任务冲突或在同质群体中深入揭示分歧。
  • 仅限于单轮机器人交互；未来工作可扩展至多轮对话和更丰富的上下文。
  • 在更大规模社区中扩展以及解决层级权力动态问题仍是挑战。

总结

Botender是一个系统，支持在线社区通过提议、迭代和部署行为来协作设计符合其需求的LLM驱动机器人。其基于案例的启发有效揭示了改进机会并促进了共识的建立。验证研究和实地研究表明其在真实场景中的实用性，参与者成功创建了反映社区规范的多样化任务。未来工作可进一步改进案例生成，扩展机器人功能，并解决在更大或层级化社区中的可扩展性和权力动态问题。