UX因子：使用比较同伴评审通过用户偏好评估设计

同伴评审已在线上和线下课堂中用于激发创造力、收集反馈并减轻教师评分负担，特别是对于没有明确评分标准的基于设计的任务。为了探索同伴反馈的细微差别和质量，我们开发了UX Factor，这是一个同伴评分平台，旨在描述同伴评审的行为和用于汇总这些评审的排名模型的一致性。该系统利用成对比较的力量来减少偏见并鼓励情境驱动的分析。我们在133名学生和助教（TA）的用户界面课程中采用了UX Factor，贯穿学期内3个不同的个人设计项目，发现该系统在收集高质量反馈方面是有效的。我们看到评分者的一致性高于随机偏好，并且每份提交作品至少15个评分时，简单平均评分产生的排名与原始评分和其他更复杂的模型一致。这些排名对令人不快的评分者和变化的班级规模具有稳健性，展示了比较同伴评审在规模化情况下匹配专家反馈质量的潜力。