"我们是否要深入探讨？"：为异步在线讨论中推进知识共建设计并评估LLM智能体策略

文献标题

"'Shall We Dig Deeper?': Designing and Evaluating Strategies for LLM Agents to Advance Knowledge Co-Construction in Asynchronous Online Discussions"

出版信息

• 主题领域: 基于人工智能的在线讨论中知识共建的促进。
• 关键词: LLM代理、异步讨论、知识共建、干预风格、任务导向、关系导向、AI促进、在线平台、人机交互、协作学习。

背景与问题

• 问题/挑战: 异步在线讨论常常停滞于知识共建的表层阶段，未能进一步深入综合与整合。现有的人工智能干预缺乏跨阶段协调推进的机制，其对讨论动态的影响也未得到充分探索。
• 重要性: 解决在线讨论停滞问题对于增强集体知识构建过程、提高用户参与度以及提升平台作为综合知识可持续存储库的价值至关重要。
• 动机与相关工作: 先前的研究主要集中于知识共建的单一阶段或交互管理，但缺乏系统推进讨论的过程导向方法。人类的促进风格——任务导向和关系导向——已显示出潜力，但其在多方设置中应用于人工智能代理的研究尚属不足。

解决方案

• 提出的方法: 一种面向过程的干预范式，针对LLM驱动的代理，采用阶段敏感的策略来推进知识共建的四个阶段：启动、探索、协商和共建。
• 创新点:
  1. 为人工智能代理设计了可操作的、针对阶段的任务导向和关系导向干预策略。
  2. 实现了一个能够监测讨论动态并应用阶段特定干预的LLM代理。
  3. 通过混合方法评估揭示了干预风格对知识推进、用户感知和人际互动的不同影响。
• 流程与关键技术:
  • 通过12名参与者的设计研讨会共同设计干预策略。
  • 开发了一个LLM代理，其组件包括阶段分类器、频率控制器、阶段充分性评估器、风格管理器和响应生成器。
  • 实施了一项被试内研究（N=60），包含五种条件（四种干预风格和一个基线）以评估代理对异步讨论的影响。

结果

• 具体发现:
  • 代理干预将讨论推进到更深阶段，使达到的最大阶段相比基线提高了23.8%至38.1%。
  • “讲述”、“推销”和“参与”风格在60%至80%的线程中实现了阶段2的充分性，而基线仅为10%。
  • “参与”风格获得了最高的认可度，而“授权”风格影响最小。
• 相较基线的优势: 代理支持的线程始终超越表层阶段，强化了基础阶段，并相比仅有人类参与的讨论引发了更深层次的知识共建。
• 实验/评估:
  • 在五种实验条件下对60名参与者进行了混合方法研究。
  • 评估指标包括线程级别（如最大阶段、充分性标准）和个体级别感知（如深度、有效性、社会存在感）。
  • 对访谈的定性主题分析提供了关于用户体验和代理影响的洞见。
• 局限性与未来工作:
  • 实验室环境未能完全反映真实世界动态；未来需要开展实地研究。
  • 参与者多样性和讨论主题的可访问性有限；未来工作应探索专业知识背景和多样化人群。
  • 界面设计和潜在的需求效应需要进一步研究。

总结

本文提出了一种面向过程的干预范式，用于LLM代理在异步在线讨论中推进知识共建。通过设计研讨会衍生的阶段敏感策略，这些代理有效地促进了知识共建四个阶段的推进。研究表明，任务导向（“讲述”、“推销”）和关系导向（“参与”）风格各有独特优势，其中“参与”风格最受欢迎。研究结果凸显了自适应人工智能代理在促进更深层次、更稳健的在线讨论中的潜力，同时提出了关于平衡任务与关系导向、减少干预性以及增强人际互动的设计考量。