以数据为中心的团队协作同行评估工具的挑战与机遇

同行评估对团队评估至关重要，但容易受到偏见和其他因素影响，可靠性不足。与此同时，团队常用的协作工具越来越能够记录可反映个人贡献和团队工作的活动轨迹。为了研究同行评估工具中活动轨迹的当前和潜在用途，我们访谈了一家大学的 11 名学生并对 242 名学生进行了问卷调查，还访谈了 10 名教师。我们发现，几乎所有被调查的学生在评估队友时都会考虑对团队成果的具体贡献，但也报告依赖记忆和主观体验来进行评估。教师希望获得客观数据来源以解决同行评估管理和解读方面的挑战，并已开始将协作工具的活动轨迹纳入团队评估中。然而，学生和教师都对活动轨迹的使用表示担忧，原因是团队使用的工具和平台多样，且对贡献的上下文了解有限。基于我们的发现，我们为以数据为中心的同行评估工具提出了建议和概念设计。