虚拟心智，真实工作：通过空间多智能体-人协作实现基于偏好的LLM规划

文献标题

Virtual Minds, Real Work: LLM-Powered Preference-Based Planning through Spatial Multi-Agent-Human Collaboration

出版信息

• 主题领域: 基于偏好的规划，利用多智能体系统和空间可视化。
• 关键词: 基于偏好的规划，多智能体系统，LLMs，空间可视化，VR，人机协作，Taskformer，CoNavigator，交互式规划，以用户为中心的设计。

背景与问题

• 问题/挑战: 现有的规划系统缺乏迭代和自适应交互，需要结构化输入，且无法有效整合用户的细微偏好。多智能体LLM系统通常作为封闭系统运行，用户参与和透明度有限。
• 重要性: 在旅行、项目管理和创意任务等领域，有效的基于偏好的规划至关重要，因为这些领域需要平衡约束条件和不断变化的用户偏好。
• 动机与相关工作: 现有系统依赖于刚性的输入（如PDDL）和静态输出，限制了其在实际任务中的适用性。LLMs支持自然语言交互，但在处理多维偏好和权衡时表现不足。多智能体LLM系统展现了潜力，但通常将用户排除在规划过程之外。本文通过设计一个交互式、以用户为中心的规划系统来填补这些空白。

解决方案

• 提出的方法: MAVIS（Multi-Agent Virtual Interactive Synergy），一个结合增量协作（Taskformer）和空间可视化（CoNavigator）的多智能体系统，用于基于偏好的规划。
• 创新点:
  1. 增量多智能体协作机制（Taskformer），将任务分解为多个阶段，并逐步引入专家代理。
  2. 空间可视化（CoNavigator），将代理推理外化为与步骤相关的摘要和具身化的虚拟形象，以实现自然交互。
  3. 支持VR和桌面环境的跨模态实现。
• 流程与关键技术:
  1. Taskformer阶段：指导生成、增量扩展、聚焦探索、协作谈判和整合。
  2. CoNavigator模块：用于空间组织内容的虚拟空间和直观交互的具身化代理。
  3. 集成LLMs用于角色分配、偏好提取和权衡谈判。
  4. 通过三项研究评估MAVIS，与基线系统及VR和桌面模式进行比较。

结果

• 具体发现:
  • Taskformer使偏好表达增加了60.3%，并显著提高了规划质量，相较于GPT-4o。
  • CoNavigator减少了认知负担，并改善了参与度和意义建构。
  • MAVIS支持多样的实际任务，且具有较高的可用性评分（UMUX-Lite: ~81/100）。
• 相较基线的优势:
  • 更高的偏好表达率（MAS: 0.58 vs. GPT-4o: 0.29, p<0.001）。
  • 更高的偏好满足率（MAS: 0.93 vs. GPT-4o: 0.58, p<0.001）。
  • MAVIS在规划步骤中的时间分配更均衡，与MAS相比提供了更丰富的多智能体交互。
• 实验/评估:
  1. 研究1：Taskformer与GPT-4o在旅行规划上的定量比较（N=13）。
  2. 研究2：MAVIS（带CoNavigator）与MAS的定性比较（N=16）。
  3. 研究3：专家对MAVIS在VR和桌面模式下的领域特定任务评估（N=14）。
• 局限性与未来工作:
  • 对通用LLMs的依赖可能限制其在特定领域的性能。
  • 缺乏跨设备工作流以实现VR和桌面之间的切换。
  • 固定的代理行为和社会存在感可能会引发部分用户的焦虑。
  • 对更丰富的VR特定交互技术探索有限。

总结

MAVIS通过结合增量多智能体协作（Taskformer）和空间可视化（CoNavigator），提出了一种基于偏好的规划新方法。与传统LLM系统相比，它改善了用户参与、偏好表达和规划一致性。MAVIS支持多样的实际任务，并在VR和桌面模式下高效运行。未来工作应聚焦于领域特定的优化、跨设备工作流以及自适应社会行为，以进一步完善多智能体人机协作。