并非人人受益于大语言模型：程序化数据科学中AI素养的行为模式与教学启示

文献标题

Not Everyone Wins with LLMs: Behavioral Patterns and Pedagogical Implications for AI Literacy in Programmatic Data Science

出版信息

• 主题领域: 人工智能素养及其对程序化数据科学教育的影响。
• 关键词: LLMs, 人工智能素养, 数据科学, 编程教育, 行为分析, 技术经验, AI辅助学习, 教学设计, 计算笔记本, 人机协作。

背景与问题

• 问题/挑战: 尽管LLMs承诺能够使技术任务更加民主化，其益处的分布却并不均衡。此前的研究尚未充分阐明不同类型的用户经验如何影响AI的使用及其结果，特别是在现实世界中时间受限的工作流程中。
• 重要性: 了解这些差异对于设计有效的人工智能素养课程和工具至关重要，以确保技术教育中LLMs的益处能够公平分配。
• 动机与相关研究: 先前的研究显示，人工智能对初学者和专家用户的影响存在混合结果，但对现实工作流程和行为模式的关注有限。本研究通过分析技术、LLM和沟通经验如何在研究生数据科学课程中塑造AI使用，填补了相关研究的空白。

解决方案

• 提出的方法: 在研究生数据科学课程中进行混合方法研究，分析学生与LLMs的交互，重点关注行为模式和人工智能素养能力。
• 创新点:
  1. 提供实证证据表明LLMs在现实环境中无法完全弥合技术经验差距。
  2. 开发一种行为导向的日志注释方案，用于分析计算笔记本中的AI使用情况。
  3. 确定人工智能素养能力，包括概念性、程序性、元认知和性格倾向维度。
• 过程与关键技术:
  • 通过家庭作业提交、日志、问卷调查和屏幕录制从36名学生处收集数据。
  • 使用自定义注释方案对行为日志进行分析，将工作流程分为情节和步骤。
  • 通过统计和主题分析探索经验水平、AI使用行为与表现之间的关系。

结果

• 具体发现:
  • 技术经验显著预测更高的成绩 (β = 6.09, p = 0.041)，而LLM和沟通经验则没有显著影响。
  • 在时间压力下，LLMs减少了表现差距，但在更现实的扩展工作流程中，这些差距再次出现。
  • 有经验的学生更具策略性地使用AI，提出更清晰的提示并进行主动规划，而初学者则更多地依赖于被动使用AI。
• 相较基线的优势:
  • 教学后，学生在提示质量行为方面有所改善（适当使用AI的比例增加了30%），但在评估技能方面仍存在困难，突显了针对性教学干预的必要性。
• 实验/评估:
  • 任务包括数据清理、探索性数据分析（EDA）、机器学习和故事讲述，使用详细评分标准进行评估。
  • 行为日志（7,315个事件）被分析以识别AI使用模式及其对任务成功的影响。
  • 教学前后比较显示，学生在特定AI使用技能上有所提升，但评估行为的差距仍然存在。
• 局限性与未来工作:
  • 样本量较小（36名学生）限制了子组分析。
  • 经验变量之间的相关性（如Python和数据科学）使得区分其影响变得复杂。
  • 未来工作应包括更多样化的任务、控制实验以及更强大的前测，以分离影响有效AI使用的因素。

总结

本研究指出，LLMs并未均匀地使编程任务民主化，技术经验仍然是成功的关键预测因素。行为分析显示，有经验的学生更具策略性地使用AI，而初学者通常在提示不明确和被动使用方面存在困难。尽管轻量化教学改善了部分AI使用技能，但评估行为需要更深入的教学投入。研究结果为人工智能素养课程和工具设计提供了指导，强调了明确的思维模型、评估的支架支持以及培养持久问题解决能力的必要性。