MetaWriter：探索AI写作支持在科学同行评审中的潜力与风险

DOI

大型语言模型（LLMs）的最新进展表明其有可能显著增强甚至替代复杂的人类写作活动。然而，在人们需要做出决策并提供理由的复杂写作任务中，LLMs是否能加快写作任务或阻碍用户能动性尚不清楚。在本文中，我们探索了在学术同行评审过程中为元评审写作提供智能支持的权衡。我们原型化了一个系统“MetaWriter”，基于5年开放同行评审数据训练，用于支持元评审：该系统突出原始同行评审中的常见主题，提取每位审稿人的要点，并应要求提供可进一步编辑的元评审初稿。为了解有经验和不那么有经验的元评审者是否以及在多大程度上认为这一任务的写作支持有价值，我们对32名参与者进行了被试内研究。每位参与者为两篇论文撰写元评审：一篇使用MetaWriter，一篇不使用。我们发现，与基线相比，MetaWriter显著加快了元评审撰写过程，并提高了专家评分的覆盖范围。虽然参与者认识到效率优势，但他们提出了关于信任、过度依赖和能动性的问题和担忧。我们还采访了六位论文作者，以了解他们对使用机器智能支持同行评审过程的看法，并报告了关键反思。我们讨论了未来支持复杂综合工作的交互式AI写作工具的意义。