AI 评审彩票：广泛应用的 AI 辅助同行评审提高论文评分和接受率

期刊和会议担心人工智能（AI）辅助的同行评审（特别是大型语言模型 LLM）可能会负面影响同行评审系统的有效性和公平性，而同行评审是现代科学的基石。我们在 2024 年国际学习表征会议（ICLR）这一大型且 prestigious 的机器学习会议背景下，研究了 AI 辅助同行评审的流行程度和影响，以解决这一担忧。我们的贡献有三个方面。首先，使用 GPTZero LLM 检测器获得了 ICLR 2024 中 AI 辅助评审流行程度的下界，估计至少有 15.8% 的评审是在 AI 辅助下撰写的。其次，我们评估了 AI 辅助评审对提交评分的影响。对于同一篇论文的一对评审，比较不同评分，我们发现 53.4% 的配对中，AI 辅助评审的评分高于人类评审（p = 0.002；评分更高的概率相对差异：+14.4%，有利于 AI 辅助评审）。第三，我们评估了收到 AI 辅助同行评审对提交接受的影响。在一项匹配研究中，接近接受阈值且收到 AI 辅助同行评审的提交比未收到的提交接受可能性高 4.9 个百分点（p = 0.024）。总体而言，我们表明 AI 辅助评审对同行评审过程具有重要影响，并讨论了当前趋势的未来影响。