当支架断裂时：探究学生在实时K-12英语课堂中与基于LLM的写作支持系统的交互

文献标题

When Scaffolding Breaks: Investigating Student Interaction with LLM-Based Writing Support in Real-Time K-12 EFL Classrooms

出版信息

• 主题领域: 大型语言模型（LLMs）在实时K-12英语作为外语（EFL）课堂中的整合应用。
• 关键词: LLMs, 支架教学, K-12教育, EFL课堂, 实时学习, AI写作支持, 教室公平性, 学生参与度, 教师角色, 语法学习。

背景与问题

• 问题/挑战: 尽管LLMs在支架英语写作技能方面表现出潜力，但其在实时K-12课堂中的有效性尚未得到充分研究，特别是在面对多样化的语言水平和有限时间的约束时。
• 重要性: 了解LLMs在实时课堂中的影响对于设计能够支持多样化学习者且不加剧现有不平等的教育工具至关重要。
• 动机与相关研究: 以往研究主要集中在异步环境或高等教育背景，尚未深入探讨LLMs如何在动态、教师主导的K-12课堂中发挥作用。早期的AI工具提供的是通用反馈，而LLMs则能够提供适应性、上下文感知的支架教学，有望弥补这些不足。

解决方案

• 提出的方法: WriteAid，一种基于LLM的写作支持工具，设计为技术探针，用于探索实时课堂互动并支架英语写作任务。
• 创新点:
  1. 创建了一个大规模数据集（14,863条语句），揭示了不同语言水平学生的使用模式差异。
  2. 识别出LLM支架教学的局限性，例如对低水平学生造成依赖性和挫败感。
  3. 提供了关于课堂动态的洞察，包括公平性挑战以及对师生互动的影响。
• 过程与关键技术:
  • WriteAid通过基于聊天的界面提供逐步指导，功能包括句子构造、语法修订和词汇解释。
  • 支架教学策略基于Van de Pol等人的框架设计，提示旨在鼓励学生积极参与。
  • 部署包括六周的课堂使用、学生查询的定性编码以及课堂行为的自然观察。

结果

• 具体发现:
  • 学生发送了14,863条消息，高水平学生参与更高效，专注于高阶任务。
  • 48.9%的LLM辅助句子被纳入最终作文，其中82.3%语法正确。
  • 低水平学生保留的LLM生成句子较少，对逐步支架教学表现出挫败感。
• 相较基线的优势: WriteAid提高了语法准确性和任务完成率，尤其对低水平学生更为显著，但也引入了依赖性和减少同伴学习的问题。
• 实验/评估:
  • 参与者: 157名八年级学生，其中133名获得同意的数据被纳入分析。
  • 方法: 交互日志、查询的定性编码以及基于分析性评分标准的书面评估。
  • 评估指标: 参与度、查询类型、语法准确性以及LLM辅助句子的保留率。
• 局限性与未来工作:
  • 研究结果可能无法推广到其他年龄组、教育环境或文化背景。
  • 分析依赖于交互数据的一个子集（9.3%），可能遗漏了更细微的模式。
  • 未来研究应整合学生视角并探索跨语言支架教学策略。

总结

本研究探讨了WriteAid这一基于LLM的写作支持工具在实时K-12 EFL课堂中的应用。尽管WriteAid提高了语法准确性和任务完成率，其逐步支架教学对低水平学生造成了挫败感，并导致系统依赖性。课堂观察发现同伴学习减少以及师生互动面临挑战，低水平学生的困难被AI优化的输出掩盖。这些发现强调了需要设计针对语言水平的支架教学、更清晰的教师与AI角色定义，以及促进公平参与与协作的系统。未来的实施应解决这些问题，以增强LLMs在教育中的有效性和包容性。