支持学习者使用不完美的生成式教学聊天机器人：聊天机器人响应不确定性与降低冗长性的作用

文献标题

Supporting Learners' Use of Imperfect Generative Pedagogical Chatbots: The Role of Chatbot Response Uncertainty and Reduced Verbosity

出版信息

• 主题领域: 改进生成式教学聊天机器人设计，以提升学习效果和错误管理能力。
• 关键词: 生成式聊天机器人、教学人工智能、语言不确定性、冗长性、认知参与、错误检测、信任校准、STEM教育、贝叶斯推断、学习效果。

背景与问题

• 问题/挑战: 学习者往往过度信任生成式聊天机器人，难以发现错误，并因认知过载、减少心理干扰以及优先追求短期收益而对聊天机器人回复的参与较浅。目前的聊天机器人设计倾向于提供自信且冗长的回复，这加剧了这些问题。
• 重要性: 解决这些挑战对于将生成式聊天机器人作为有效的教育工具至关重要，能够确保学习者实现更深层次的认知参与、更好的错误检测能力以及更优的学习效果。
• 动机与相关研究: 先前的研究探讨了互动指导、反思支架和内容改进对聊天机器人的影响，但尚未研究语言特征（如语言不确定性和冗长性）对学习的影响。本研究通过在STEM学习环境中探讨这些特征填补了这一空白。

解决方案

• 提出的方法: 探讨两种聊天机器人设计特征——语言不确定性和减少冗长性——对学习者认知参与、错误检测和学习效果的影响。
• 创新点:
  1. 系统性评估生成式聊天机器人中的语言不确定性，以应对过度信任并增强参与度。
  2. 探讨减少冗长性作为提高错误检测能力和降低认知负荷的手段。
  3. 将人机交互和教育心理学的研究成果整合到聊天机器人设计中。
  4. 使用贝叶斯因果推断和主题分析，在生态有效的学习环境中评估干预措施。
• 流程与关键技术:
  1. 设计了一个学习平台，参与者在其中使用具有不同回复风格（不确定与确定、简短与冗长）的聊天机器人，采用2x2因子设计。
  2. 在177名问卷参与者和26名访谈者中进行实验，重点研究入门统计学主题。
  3. 通过前测、后测和问卷测量认知参与（使用替代资源）、信任感知、错误检测和学习效果。
  4. 使用贝叶斯分层模型分析数据，并对定性反馈进行主题分析。

结果

• 具体发现:
  1. 减少冗长性改善了对具有逻辑谬误的事实性错误（FE-w-LF）的纠正，但未能促进替代资源的使用。
  2. 语言不确定性在参与者遇到无关错误时减少了对聊天机器人回复的依赖并改善了学习效果，但在无错误条件下导致了更差的学习结果。
  3. 不确定性表达降低了信任感知（如依赖意愿、感知能力），但对完整性和善意的感知影响不一。
• 相较基线的优势:
  • 减少冗长性降低了认知负荷，并改善了逻辑错误的检测能力，相较于冗长回复更具优势。
  • 语言不确定性校准了对聊天机器人回复的依赖，减少了错误输出的采纳。
• 实验/评估:
  • 在一个受控的在线学习环境中进行，包含262个有效的参与者-主题配对。
  • 使用贝叶斯因果推断进行定量分析，并通过主题分析获取定性见解。
  • 评估了三种错误类型的影响：无错误、具有逻辑谬误的事实性错误和无逻辑谬误的事实性错误。
• 局限性与未来工作:
  • 对其他领域、错误类型和聊天机器人设计的适用性有限。
  • 为期较短的研究；尚未探索纵向效果和课堂环境中的应用。
  • 未来工作应优化不确定性信号，探索替代设计，并评估对学习行为的长期影响。

总结

本研究探讨了生成式教学聊天机器人中的语言不确定性和减少冗长性如何影响学习者在STEM教育中的认知参与、错误检测和学习效果。减少冗长性改善了对逻辑谬误的错误纠正，但未能增强对替代资源的参与。语言不确定性在遇到错误时减少了对聊天机器人回复的依赖并改善了学习效果，但在无错误条件下导致了更差的结果。这些发现突出了通过语言设计调整解决聊天机器人辅助学习中挑战的潜力，但也强调了实施的细致性和在多样化情境中进一步研究的必要性。