探索学习者与建构性争议性同伴智能体的期望与参与

文献标题

Exploring Learners' Expectations and Engagement When Collaborating with Constructively Controversial Peer Agents

出版信息

• 主题领域: 异步在线学习环境中的人机协作
• 关键词: 建设性争议, 基于LLM的同伴代理, 协作学习, 学习者参与, 人机交互, 论证任务, 设计透明性, 受控行为, 非受控行为, 教育AI

背景与问题

• 问题/挑战: 异步在线课程缺乏能够增强学习效果的实时协作互动，而尽管基于LLM的同伴代理可以模拟人类同伴，其趋向于一致性的特性限制了其促进多样化观点和建设性争议的能力。
• 意义: 解决这一问题对于提升在线教育环境中孤立学习者的参与度、创造力和批判性思维至关重要。
• 动机与相关研究: 先前研究表明，协作学习和建设性争议（CC）理论在增强认知和情感参与方面具有显著优势。然而，将CC原则应用于AI代理需要在熟练的分歧和理性之间取得平衡，同时满足用户的期望。代理设计的透明性进一步复杂化了用户的感知和互动。

解决方案

• 提出的方法: 开发具有受控和非受控CC行为的LLM驱动同伴代理，并探索设计透明性对学习者参与和感知的影响。
• 创新点:
  1. 根据价值观、期望和协作策略将学习者分类为效率驱动型学习者（EDL）和好奇心驱动型学习者（CDL）。
  2. 实证分析受控和非受控CC行为如何影响参与度、主体感和论证质量。
  3. 探讨设计透明性对学习者对代理能力感知的影响。
• 流程和关键技术:
  • 对144名本科生参与者进行2 × 2混合因子实验。
  • 参与者与受控和非受控同伴代理在论证任务中互动，并接受透明或不透明的设计披露。
  • 使用任务指标、Likert量表问卷和定性反馈测量参与度、论证质量和感知。
  • 通过使用调节模块和角色扩展开发受控代理，以实现熟练的分歧和理性。

结果

• 具体发现:
  • 受控代理增加了回合数和任务时间，但未提高论证质量。
  • 非受控代理被认为“过于合作”，而受控代理被视为“过于对立”。
  • 设计透明性降低了所有参与者对代理能力的感知。
• 相较基线的优势:
  • 受控代理更符合CDL学习者对熟练分歧的CC原则。
  • 非受控代理支持EDL学习者的主体感和情感参与。
• 实验/评估:
  • 采用定量和定性分析的混合方法研究。
  • 任务包括围绕辩论主题的协作论证，测量参与度、论证强度和差异性。
  • 使用统计模型和G-eval技术验证代理行为和学习者感知的差异。
• 局限性与未来工作:
  • 由于参与者的人口统计特征（年轻且熟悉LLM）限制了普适性。
  • 辩论主题较为通用，未涉及特定领域。
  • 控制性研究设计缺乏对学习者与代理持续互动的长期洞察。

总结

本研究探讨了具有建设性争议行为的LLM驱动同伴代理的设计，以增强异步在线环境中的协作学习。通过将学习者分类为效率驱动型和好奇心驱动型，研究展示了受控和非受控代理行为如何与学习者的价值观和期望交互，从而影响参与度、主体感和论证质量。代理设计的透明性对学习者对代理能力的感知产生了负面影响。这些发现为定制AI驱动的协作工具以满足多样化学习者需求提供了基础性见解，并对更广泛的教育应用具有重要意义。未来研究应关注长期研究和领域特定任务，以进一步优化这些干预措施。