探索主动生成式AI智能体在时间紧迫的协作问题解决任务中的影响

文献标题

Exploring The Impact of Proactive Generative AI Agent Roles In Time-Sensitive Collaborative Problem-Solving Tasks

出版信息

• 主题领域: 人机协作在同地、时间敏感的协作问题解决任务中的应用。
• 关键词: 生成式人工智能，主动代理，协调者角色，同伴角色，密室逃脱，团队协作，时间敏感任务，工作负载，协调，人机团队。

背景与问题

• 问题 / 挑战: 对于主动生成式人工智能代理如何影响实时、同地团队协作，尤其是在高压协作环境中的影响，了解仍然有限。关于人工智能应扮演同伴还是协调者角色，以及这些角色如何影响团队表现和过程，仍存在疑问。
• 意义: 对人工智能角色的深入理解可以提升在紧急响应、医疗保健和网络安全等领域的协作问题解决能力，这些领域对时间限制下的有效团队合作至关重要。
• 动机与相关工作: 先前研究强调了生成式人工智能和主动系统在增强团队合作方面的潜力，但大多数研究集中于一对一互动或推测性设计。人机团队（HATs）强调相互依赖性，但关于主动人工智能角色在群体背景中的实证研究仍然稀缺。

解决方案

• 提出的方法: 开发并评估两种生成式人工智能代理——Fiona（协调者）和Ava（同伴），将其嵌入同地密室逃脱任务中，以研究其对团队表现和过程的影响。
• 创新点:
  1. 针对协调者和同伴角色的主动人工智能代理的功能性技术探针。
  2. 对主动人工智能角色在同地、时间敏感的协作问题解决任务中的实证研究。
  3. 为将主动人工智能代理整合到团队合作中提供设计考量。
• 过程与关键技术:
  • 任务: 密室逃脱谜题，需要四名参与者之间的积极沟通与协调。
  • 人工智能代理: Fiona 提供总结和协调提示；Ava 提供创意和记忆支持。
  • 研究设计: 采用组内设计，24名参与者（6组），在三种条件（无人工智能、同伴人工智能、协调者人工智能）中进行平衡对照。
  • 数据收集: 调查问卷（NASA-TLX、人工智能感知、感知协调）、表现得分和焦点小组访谈。

结果

• 具体发现:
  • 表现: 协调者条件下得分最高（EMM = 14.50），其次是无人工智能（EMM = 9.33），同伴条件得分最低（EMM = 4.67）。
  • 工作负载: 同伴代理相比协调者和无人工智能条件显著增加了工作负载。
  • 人工智能感知: 同伴代理在提升团队协调方面评分更高，但引入了认知负担并破坏了流程。
• 相较基线的优势:
  • 协调者代理通过间接支持协调，尽管被认为影响较小，但仍实现了更高的得分。
  • 同伴代理提供了及时的提示和记忆支持，但破坏了团队动态并增加了努力程度。
• 实验 / 评估:
  • 混合方法研究，结合定量（ART-ANOVA）和定性（主题分析）方法。
  • 测量指标: 任务表现、感知协调、工作负载和人工智能感知。
  • 背景: 难度不同的密室逃脱谜题。
• 局限性与未来工作:
  • 样本: 参与者为预先建立的团队，限制了对临时组的普适性。
  • 任务设计: 密室逃脱谜题可能无法完全反映现实世界的协作复杂性。
  • 固定角色: 代理未能根据团队进展或需求进行适应；未来工作可探索自适应和混合角色。

总结

本研究探讨了主动生成式人工智能代理在同地、时间敏感的协作问题解决任务中的角色。协调者代理通过协调提示间接提升了团队表现，而同伴代理尽管提供了及时提示，却增加了工作负载并破坏了流程。参与者认为同伴代理更具影响力，尽管其表现结果较低。研究结果强调了人工智能贡献的时机、相关性和适应性的重要性。未来工作应探索自适应机制，并在更复杂的现实场景中测试这些角色。