他们会再试一次吗？一项关于智能辅导系统中支持坚持性的支架的大规模随机对照试验

文献标题

Will They Try Again? A Large-Scale RCT on Scaffolds that Support Persistence in an Intelligent Tutoring System

出版信息

• 主题领域: 在教育技术中通过劝服性设计干预促进失败后的坚持。
• 关键词: 智能辅导系统，坚持，失败，提示，劝服性设计，随机对照试验，教育技术，掌握学习，界面设计。

背景与问题

• 问题/挑战: 学生在智能辅导系统中犯错后往往会失去参与动力，这削弱了坚持和纠错反馈的益处。
• 重要性: 失败后的坚持对学习至关重要，因为它通过反复练习和纠错实现掌握学习。
• 动机与相关研究: 先前研究强调了富有成效的挣扎和掌握学习的益处，但缺乏可扩展的、自适应的干预措施来促进坚持。尽管劝服性设计技术如提示在其他领域表现出潜力，但它们在教育领域的联合效果尚未被探索。

解决方案

• 提出的方法: 测试了两种干预措施：(1) 突出重试选项的视觉默认提示，(2) 鼓励学生在失败后再次尝试的劝服性提示。
• 创新点:
  1. 涉及164,532名学生和1700万道练习题的大规模随机对照试验。
  2. 比较隐性（提示）和显性（劝服性提示）策略，研究它们的独立和联合效果。
  3. 分析溢出效应、效果衰退模式以及后续学习结果。
• 程序与关键技术:
  • 学生被随机分配到四种条件之一：控制组、仅提示组、仅劝服性提示组或联合干预组。
  • 提示以视觉线索形式持续传递，而劝服性提示以概率方式显示以减少疲劳。
  • 使用混合效应模型分析行为数据（例如重复题目尝试、掌握率）。

结果

• 具体发现:
  • 提示使坚持率提高了9个百分点，劝服性提示提高了2个百分点，两者结合提高了11个百分点。
  • 溢出效应有限，劝服性提示的泛化效果略优于提示。
  • 两种干预措施随着时间的推移保持有效性，提示效果略有增加，而劝服性提示在持续传递后趋于稳定。
  • 掌握率有所改善：提示使问题解决成功率提高了1.6个百分点，劝服性提示提高了0.6个百分点。
• 相较基线的优势: 两种干预措施均显著优于控制组，联合使用时效果具有叠加性。
• 实验/评估:
  • 在Siyavula的智能辅导系统中针对8至12年级的数学和科学进行。
  • 使用回归模型分析了近240万次错误和1700万次题目尝试。
• 局限性与未来工作:
  • 劝服性提示的概率性传递可能限制了其影响；未来研究可以探索最佳频率。
  • 结果具有领域特异性（数学/科学）；需要在其他情境中进行测试。
  • 不同题目类型、学科和学生特征的异质性效果需要进一步研究，以实现个性化干预。

总结

本研究表明，隐性提示和显性劝服性提示能够独立且叠加地促进智能辅导系统中失败后的坚持。提示产生了更大的即时效果，而劝服性提示在非目标情境中的泛化效果略优。两种干预措施随着时间的推移保持有效性，并观察到掌握率的适度改善。这些发现推进了劝服性设计理论，表明隐性和显性策略通过不同机制发挥作用，并且可以有效结合。研究结果为设计可扩展且符合伦理的干预措施以支持教育及其他交互系统中的坚持提供了可操作的指导。