先入之见与偏见:会议同行评审中新审稿人对重新提交论文的偏见

现代机器学习和计算机科学会议正经历投稿数量的激增,这对同行评审质量构成挑战,因为合格审稿人的增长远远滞后于投稿增长。为遏制这一趋势并减轻审稿人负担,多个会议开始鼓励甚至要求作者声明其论文的先前投稿历史。此类举措受到作者质疑,他们担心审稿人推荐可能因该信息而产生偏见。本研究调查审稿人是否因获知论文曾在类似会议被拒而产生偏见,聚焦于新手审稿人——他们占主要机器学习和计算机会议审稿人的很大比例。我们设计并实施了随机对照试验,模拟同行评审流程的关键环节,共有133名审稿人(美国顶尖大学的硕士生和初级博士生)为19篇论文撰写评审。分析显示,审稿人确实在收到论文为重新提交的信号后产生负面偏见,其总体评分比未收到该信号的审稿人低近1分(10分李克特量表,Δ=-0.78,95%CI=[-1.30,-0.24])。从具体标准评分来看(原创性、质量、清晰度和意义),新手审稿人倾向于最严重地低估质量。

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/papers/cscw/65983/2021

广告推荐

学习 AI 编程到 CodeNow

open_in_new打开DOI链接
DOI: https://doi.org/10.1145/3449149
一眼看懂

论文快照

fact_check
dataset
来源
CSCW
calendar_month
年份
2021
emoji_events
奖项
未标记奖项
group
作者
4 位作者
sell
研究子方向
work
职业/产业
article
内容状态
仅摘要
hub
相关论文
0 篇相关论文