Perspectra：选择专家增强多智能体研究创意生成中的批判性思维

文献标题

Perspectra: Choosing Your Experts Enhances Critical Thinking in Multi-Agent Research Ideation

出版信息

• 主题领域: 利用多代理系统提升批判性思维和跨学科研究构思。
• 关键词: 多代理系统、批判性思维、跨学科研究、LLMs、构思工具、用户控制、可视化、论证理论、认知负荷、提案修订。

背景与问题

• 问题/挑战: 现有的用于研究构思的多代理系统（MAS）缺乏细粒度的用户控制，导致认知过载、代理协调困难以及对跨学科主题的结构化探索支持有限等问题。
• 重要性: 跨学科研究需要协调多样化的方法和观点，这对于解决复杂问题至关重要。有效的MAS可以提升批判性思维和构思质量，但当前系统在用户控制和意义建构方面表现不足。
• 动机与相关工作: 之前的研究主要集中于单代理系统或自动化MAS，往往忽略了用户驱动的控制和结构化的讨论。现有系统缺乏用户动态引导讨论或可视化代理推理的机制，而这些对于跨学科合作至关重要。

解决方案

• 提出的方法: Perspectra，一个论坛式的多代理系统，通过结构化的讨论让LLM模拟的领域专家参与，提供用户驱动的控制和讨论可视化功能。
• 创新点:
  1. 引入@提及和线程分支功能，动态引导领域特定代理参与讨论。
  2. 使用思维导图可视化代理讨论动态，帮助用户理解。
  3. 实证证据表明，通过结构化的多代理互动可以增强批判性思维和提案质量。
  4. 对平衡用户控制与代理自主性在构思系统中的设计影响进行了探讨。
• 流程与关键技术:
  • 用户根据研究主题发起线程，并通过回复和@提及与代理互动。
  • 代理模拟具有独特档案、记忆状态和文献数据库访问权限的领域专家。
  • 使用思维导图可视化讨论动态，展示论证行为（如CLAIM、SUPPORT、REBUT）。
  • 实施了一个基线群聊界面，用于在被试内研究中进行比较。

结果

• 具体发现:
  • Perspectra显著增加了提案修订次数（M=5.35 vs. M=2.19），并改善了提案的清晰度（M=0.87 vs. M=0.39）和可行性（M=0.56 vs. M=0.23），相较于基线系统。
  • 用户参与了更多高阶批判性思维活动，包括推理（+8.2%）、应用（+6.8%）和评估（+14.7%）。
• 相较基线的优势:
  • Perspectra引发了更多跨学科回复（58.3%使用@提及 vs. 41.0%未使用）。
  • 用户表现出更多主动综合和结构化提案编辑，而非基线中的复制粘贴行为。
• 实验/评估:
  • 在18名参与者中进行的被试内研究比较了Perspectra与群聊基线系统。
  • 数据来源包括系统日志、思维过程记录、问卷调查以及使用LLM评估的提案质量。
  • 评估指标包括提案质量（清晰度、可行性）、认知负荷和批判性思维活动。
• 局限性与未来工作:
  • 在跨学科研究环境之外的泛化能力有限。
  • 基于LLM的提案评估可能存在偏差。
  • 未来工作应探索长期影响、用户控制与认知负荷之间的权衡，以及支持批判性思维的自适应脚手架。

总结

Perspectra是一种新颖的多代理系统，旨在通过允许用户动态控制代理互动和可视化讨论动态来增强批判性思维和跨学科构思。与群聊基线系统相比，Perspectra显著改善了提案质量，并引发了更多高阶批判性思维活动。其设计强调了结构化、用户引导的多代理讨论在知识密集型任务中的价值。未来研究应关注长期影响、可扩展性以及自适应功能，以进一步支持批判性思维和用户参与。