ReviewFlow：支持学术同行评审的智能脚手架系统

同行评审是科学的基石。研究社区进行同行评审以评估贡献并提高整体科学工作质量。每年都有新社区成员首次被招募为同行评审员。技术如何帮助新手遵守其社区的同行评审实践和标准？为了更好地了解同行评审实践和挑战，我们对10名新手和10名专家进行了形成性研究。我们发现许多专家采用注释、记笔记并将笔记综合成符合社区标准的合理评审的工作流程。新手缺乏关于如何阅读和评估投稿以及如何构建论文评审的及时指导。为了支持同行评审过程，我们开发了ReviewFlow——一种AI驱动的工作流程，通过上下文反思来支持新手对投稿进行批评和注释，提供-situ知识支持以评估新颖性，以及笔记转大纲合成来帮助使同行评审与社区期望保持一致。在一项被试内实验中，16名经验不足的评审员使用ReviewFlow和几乎没有指导的基线环境撰写评审。使用ReviewFlow的参与者产生的评审比基线更全面，指出更多优缺点，但他们仍然难以提供可操作的建议来解决弱点。虽然参与者赞赏ReviewFlow提供的简化流程支持，但他们也对在科学评审过程中使用AI表示担忧。我们讨论了使用AI脚手架同行评审流程对科学工作及其他方面的影响。