智能支持通过相关认知过程参与作家

文献标题

Intelligent Support Engages Writers Through Relevant Cognitive Processes

文献信息

• 主题领域: 人机交互，智能写作支持，学习技术
• 关键词: 智能写作支持, 认知过程, 学生同行评审, 大型语言模型, 教育技术, 人机交互, 用户体验, 认知写作理论

研究背景与问题

• 发现的问题或挑战:

  • 学生同行评审在在线教育（尤其是MOOCs）中逐渐普及，但学生面临高耗时及“写作障碍”问题。
  • 缺乏有效的工具支持，可能导致学生参与意愿及评审效率下降。
  • 虽然大型语言模型（LLMs）如OpenAI的GPT框架具有潜力提供支持，但无针对用户的设计方法可能导致过重的认知负担。

• 研究的重要性:

  • MOOCs用户规模庞大（2021年达到2.2亿），高效写作支持对提高学习成效至关重要。
  • 针对写作的重要认知过程设计智能工具可以显著提升学生对同行评审的参与度与产出质量。

• 研究动机与相关工作:

  • 认知写作理论（Cognitive Process Theory of Writing）强调写作者内部的认知过程，为设计支持工具提供了理论指导。
  • 当前写作支持工具多集中于语法检查等表面功能，缺乏对复杂写作任务（如观点生成和评估）的支撑。
  • 将LLMs的生成能力与认知写作理论结合，是一个值得探索的研究方向。

解决方案

• 提出的解决方法:

  • 开发了一种基于GPT-3.5-Turbo的智能写作支持工具，专注于辅助两个关键认知过程：观点生成（ideation） 和 评估（evaluation）。
  • 设计工具时，以用户中心化为导向，确保功能与学生的实际需求紧密匹配。

• 创新点:

  • 引入认知写作理论的设计核心，限制和优化智能功能以符合具体任务的认知需求。
  • 通过实验验证了智能支持的存在显著影响了任务完成时间和学生的工具使用习惯。
  • 集成LLMs的新特性以提供个性化、交互式的反馈和支持。

• 实施步骤:

  1. 基于认知写作理论分析了写作的三个核心认知过程：规划（planning）、翻译（translating）、复审（reviewing）。
  2. 针对思维生成和评估，设计相应的功能（如生成按钮和自动输出建议框）。
  3. 实验设置：使用完全随机2x2设计，四组参与者分别接受不同组合的静态支持或智能支持。
  4. 数据收集：记录写作时间、按钮点击频率、认知过程阶段的变化（探索vs.利用）。

研究成果

• 主要成果:

  • 智能写作支持显著延长了任务持续时间（如观点生成阶段平均增加100秒），显示其提高了学生的参与和专注。
  • 如果已预设静态内容（如提前生成的建议），学生对智能功能的使用显著减少（观点支持下降39%，评估支持下降59%）。
  • 使用工具后生成的任务提交文本中，约77%的观点和34%的评估建议被采纳。

• 与现有解决方案的比较与优势:

  • 相较于仅限于语法检查的传统工具，本研究的智能工具更多地支持了用户的认知过程。
  • 在提供具体和多样化建议方面，LLMs引入的智能写作支持表现出明显优势。
  • 工具设计基于认知理论，避免了过多功能带来的认知超载。

• 实验结果与评估:

  • 明确了智能支持对不同写作任务阶段（如观点生成与评估）的过程支持作用。
  • 学生普遍认为工具直观易用，任务操作中产生的时间差可以被认作对任务的更高参与度。
  • 用户体验数据表明智能工具增强了用户满意度和任务完成质量。

• 局限性与未来方向:

  • 局限性:
    • 参与者主要为Prolific平台用户或学生，结果可能不适用于更广泛的专业写作者群体。
    • 工具使用的250字任务要求被反馈为不自然，可能影响参与者对任务的真实反应。
    • 未进行纵向研究，未能检验工具长期使用效果。
  • 未来研究方向:
    • 扩展对不同领域、不同人口特征的参与者研究，例如专业写作者和非母语人士。
    • 探讨工具对任务节奏与过程切换的长效影响，设计更全面适配自然写作流程的支持工具。
    • 针对智能工具的伦理问题，如潜在抄袭、生成错误信息等，进行更深入的探索。