一项实证研究：理解学生如何使用ChatGPT撰写论文

文献标题

An Empirical Study to Understand How Students Use ChatGPT for Writing Essays

出版信息

• 主题领域: 探讨学生在学术论文写作中使用ChatGPT的情况。
• 关键词: ChatGPT, 生成式人工智能, 论文写作, 写作教育, 认知过程理论, 学生行为, 写作自我效能, 技术接受度, AI辅助写作, 教育技术。

背景与问题

• 问题/挑战: 学生在写作任务中具体如何使用ChatGPT，以及其对写作过程和认知的影响，尚未得到深入研究。现有研究通常依赖自我报告数据或缺乏学术背景。
• 意义: 理解学生如何使用ChatGPT对教育者评估其对学习的影响、指导其在写作教学中的整合以及解决学术诚信和批判性参与问题至关重要。
• 动机与相关工作: 先前研究指出生成式人工智能在教育中的优势与挑战，包括提高生产力和降低批判性思维的风险。尽管已有关于AI使用的数据集，但通常缺乏详细的交互数据或聚焦于非英语母语者。本研究基于Flower和Hayes的写作认知过程理论，分析ChatGPT在写作中的作用。

解决方案

• 提出的方法: 通过观察77名大学生在一个内置ChatGPT平台上写作论文的过程，收集详细的交互数据，包括查询、回复和按键记录。
• 创新点:
  1. 开发了一种分类法，将ChatGPT查询分为计划（Planning）、翻译（Translating）、审查（Reviewing）和综合（All）类别。
  2. 识别了学生使用ChatGPT的独特模式，包括一种“氛围写作”（Vibe Writing）模式，学生通过迭代引导ChatGPT生成论文。
  3. 分析了个体特征（如写作自我效能、技术接受度）如何预测ChatGPT的使用模式。
  4. 创建了一个公开可用的数据集，记录了详细的写作交互过程。
• 过程与关键技术:
  • 学生在一个集成ChatGPT（OpenAI API，模型3.5-turbo）的定制平台上写作论文。
  • 使用Flower和Hayes的框架对查询进行分类。
  • 通过问卷调查测量写作自我效能（SEWS）和技术接受度（TAM）。
  • 对论文的字数、作者分布和可读性（Flesch-Kincaid, Dale-Chall）进行分析。
  • 聚类分析识别了六种不同的使用模式。

结果

• 具体发现:
  • 361个查询被分类为计划（35名参与者）、翻译（10名参与者）、审查（34名参与者）和综合（50%的参与者至少使用了一次综合查询）。
  • 19.5%的学生提交了完全由ChatGPT撰写的论文，部分论文中87.1%的单词为AI生成。
  • 使用ChatGPT撰写的论文在可读性评分（Flesch-Kincaid和Dale-Chall）上更高。
  • 写作自我效能较低的学生更多地依赖ChatGPT，尤其是在翻译和审查任务中。
  • ChatGPT的感知有用性（TAM PU）与综合查询相关，而易用性（TAM PEOU）与综合查询呈负相关。
• 相较基线的优势: 本研究提供了关于ChatGPT使用的实证过程级数据，超越了先前基于自我报告或有限上下文的研究。还引入了分类法和聚类方法分析使用模式。
• 实验/评估:
  • 参与者: 77名大学生（年龄18–64岁，背景多样）。
  • 指标: 查询次数、单词作者分布、可读性评分、感知所有权和创造力支持。
  • 工具: 广义线性模型、Kruskal-Wallis检验和聚类分析。
• 局限性与未来工作:
  • 生态效度: 在低风险环境中进行，可能无法完全反映课堂环境。
  • 缺乏对论文质量和原创性的人工评估。
  • 未来工作包括在真实课堂中部署集成ChatGPT的平台，并研究教师对AI辅助写作的看法。

总结

本研究探讨了大学生如何使用ChatGPT进行论文写作，揭示了被分类为计划、翻译、审查和综合任务的不同使用模式。写作自我效能较低的学生更多依赖ChatGPT，而AI生成的论文在可读性评分上表现更高。研究强调了批判性参与和学术诚信的相关问题，尤其是“氛围写作”的出现，即学生通过迭代引导ChatGPT生成论文。研究结果为教育者提供了可操作的见解，并贡献了一个公开数据集，用于进一步研究AI辅助写作。