从人-人协作的视角：一个用于探索人-智能体协作的可配置研究平台

文献标题

Through the Lens of Human-Human Collaboration: A Configurable Research Platform for Exploring Human-Agent Collaboration

出版信息

• 主题领域: HCI 和 CSCW 中的人机协作
• 关键词: 人机协作, LLM 代理, CSCW, HCI, 研究平台, 交互控制, 实验设计, 代理集成, 工作空间意识, 通信模式

背景与问题

• 问题/挑战: 现有的智能系统主要作为工具而非协作者，缺乏相互意识、适应性、责任感和相互依赖性。目前的研究平台并未设计用于系统性、可重复的人机协作研究，特别是在涉及 LLM 代理的情况下。
• 重要性: 填补这些空白对于设计高效的人机系统至关重要，尤其是在医疗保健和危机管理等高风险领域，协作动态对结果有显著影响。
• 动机与相关工作: HCI 和 CSCW 的先前研究已识别出有效人际协作的关键变量，例如通信模式和工作空间意识。然而，由于缺乏合适的平台，这些见解尚未在人与代理的情境中得到系统性验证。现有平台要么专注于人际实验，要么是多代理模拟，未能将代理整合到受控的人类协作研究中。

解决方案

• 提出的方法: 一个开放、可配置的研究平台，专为系统性、可重复的人机协作实验设计，灵感来源于经典 CSCW 范式，如 Shape Factory 和 Hidden Profile。
• 创新点:
  1. 引入 Agent Context Protocol (ACP)，确保人类与代理参与者之间的平等。
  2. 模块化架构，使经典实验范式适应于人机研究。
  3. 声明式实验配置语言 (ECL)，支持灵活的实验设计。
  4. 基于理论的交互控制，用于操控通信模式和工作空间意识等变量。
• 流程与关键技术:
  • 四个核心组件：研究者界面、参与者界面、实验控制器和 ACP。
  • 研究者通过 ECL 和研究者界面配置实验，界面包括实时监控和结果分析功能。
  • 交互控制允许操控通信、行动结构、社会框架和代理响应性。
  • 通过案例研究（Shape Factory 和 Hidden Profile）和与 HCI 研究者的参与式认知演练进行评估。

结果

• 具体发现:
  • 在 Shape Factory 实验中，禁用私人聊天使参与者的财富平均增加了 $40.6，同时减少了通信开销。
  • 在 Hidden Profile 实验中，主动型代理提高了团队决策的准确性（16.7% 对比被动条件下的 8.3%）。
  • 参与者在具有更丰富通信和意识支持的条件下报告了更高的信任感和工作空间意识。
• 相较基线的优势:
  • 该平台支持交互变量的系统操控，能够在人际协作和人机协作之间进行受控比较。
  • 展示了使用 LLM 代理重新实现经典范式的能力，并捕捉到行为和感知上的细微差异。
• 实验/评估:
  • Shape Factory: 16 名参与者，两个因素（通信水平、意识水平），被试间设计。
  • Hidden Profile: 16 名参与者，代理响应性（主动 vs. 被动），被试间设计。
  • 认知演练: 五位 HCI 研究者评估了研究者界面，识别了可用性挑战并为迭代改进提供了建议。
• 局限性与未来工作:
  • 当前的 LLM 代理缺乏更深层次的社会和认知基础，限制了其普适性。
  • 评估主要集中在平台设计上，而非跨范式的发现的实证验证。
  • 未来工作包括系统性地验证 CSCW 理论，并通过认知模型改进代理设计。

总结

本文提出了一个可配置的研究平台，用于研究人机协作，填补了现有工具的空白，使得使用 LLM 代理进行系统性、可重复的实验成为可能。该平台具有模块化架构、用于人机平等的 Agent Context Protocol，以及基于理论的交互控制。通过案例研究（Shape Factory 和 Hidden Profile）和认知演练的评估，证明了其在隔离交互变量和支持多样化实验范式方面的有效性。尽管当前 LLM 代理存在局限性，该平台为推进人机协作研究以及在新背景下重新审视经典 CSCW 理论奠定了基础。