利用AI重构的正面总结来理解和支持同行评审

研究背景与问题

• 问题或挑战：

  • 同行评审对于提高写作质量和研究成果的有效性至关重要，但批评性反馈可能会使作者感到沮丧和失去动力。
  • 在当前实践中，审稿人面临的认知负担较重，不仅需要提供专业反馈，还需以积极的语气提出建议。然而，这经常导致批评过于苛刻或消极。
  • 现有研究缺乏如何改进积极反馈策略、尤其是人工智能在重构批评性反馈中的应用的实证研究。

• 重要性：

  • 批评性反馈如果处理不当，可能降低研究者的自我效能感和修订动力，并对研究生态系统的健康演化产生负面影响，如造成科研群体多样性的削弱。

• 研究动机与相关工作：

  • 认知重构（Cognitive Reframing）被证实在缓解批评引发的负面情绪方面具有潜力，但其应用较为复杂并需要专业训练。随着大语言模型（LLM）的发展，使用 AI 来重构反馈成为可能。
  • 本研究还结合了“总体评价”（如评分）的影响，这种评分常见于同行评审，但其与反馈重构的协同效应尚未被充分揭示。

解决方案

• 提出的解决方案：

  • 使用人工智能生成积极的重构性总结，并将其追加到传统的批评性反馈中，以改善作者对批评的情感、认知和行为反应。

• 创新之处：

  • 提议让人工智能辅助生成“积极重构总结”，这是对传统批评性反馈的新型补充方式。
  • 探讨了 “总体评价分数” 与 AI 重构总结结合对反馈接收和修订行为的影响。
  • 集成了归因理论用于分析影响修订动机的因素。

• 实施步骤与关键技术：

  1. 使用 GPT-4 模型生成批评性反馈，并在一些组别中添加由 AI 生成的积极重构性总结。
  2. 设计了 2×2 的在线实验（有无 AI 重构总结 × 总体评价分数高低），共涉及 137 名参与者。
  3. 使用定量与定性方法测量情感变化（如自我效能感、情感等指标）、对反馈的感知（有用性与公平性）以及最终修订的质量与数量。

研究成果

• 具体成果：

  • 情感与认知感知：AI 重构总结显著提升了参与者的积极情感、自主感和能力感，同时改善了他们对反馈和审稿人的感知。
  • 修订行为：低分的总体评价评分促使作者更加认真地修订自己的文本，而 AI 重构总结主要影响参与者对修订质量的主观感知，但对修订质量的实际提升不显著。
  • 修订动机的影响因素：通过定性分析，识别出影响修订动机的七个关键因素：
    • 内部归因因素（如反馈的可操作性、个人目标一致性、情绪反应、学习与自我提升的动机）。
    • 外部归因因素（如反馈的质量、语气、以及审稿者的专业性与付出力度）。

• 与现有解决方案的对比与优势：

  • 在现有研究提到仅包括正面表扬或苛刻批评的基础上，首次以实证方式验证了 AI“重构”批评反馈的潜力。
  • 将 LLM 技术与认知重构理论紧密结合，使其应用于学术同行评审这一富有深远意义的领域。

• 实验与评估结果：

  • 添加 AI 重构总结后，参与者普遍认为反馈更加公平，但实际的修订行为未表现出显著差异。
  • 低分总体评价促使更大的修订投入，但也可能削弱弱效能感受的参与者的动力。

• 局限性与未来方向：

  • 局限性：
    • 写作任务为求职信而非学术文章，尽管易于控制实验，但与实际学术评审场景存在差距。
    • 未测试透明披露 AI 参与的影响，这可能对作者建立信任的过程有关键作用。
  • 未来方向：
    • 将研究扩展至真实的学术同行评议情境，通过研究真实反馈数据集探索 AI 重构的潜力。
    • 针对个性化的认知重构策略进一步优化 LLM 的重构能力。
    • 探讨揭示 AI 在批评反馈生成过程中的透明性对作者感知及信任的影响。

总结

本研究为 AI 在学术同行评审中改善批评反馈的应用奠定了基础，展示了 AI 重构策略对作者情感支持的潜在优势。结合低评分的总体评价和 AI 重构总结可能是一种平衡批评量与修正反馈关系的有效策略，有助于构建更加友好和建设性的学术社区文化。