同伴评估中活动轨迹的价值：一项实验研究

同伴评估是评估协作情境中个人和团队绩效的成熟工具，但容易受到社会和认知偏见的影响。当前的同伴评估工具也尚未解决在线协作技术为解决这些偏见提供的独特机会。在这项工作中，我们探索了同伴评估的这样一个机会：由协作工具自动生成的数据轨迹，我们称之为“活动轨迹”。我们进行了一项101名学生和MTurk工人的被试间实验，研究了在在线协作任务中查阅活动轨迹对团队成员同伴评估的影响。我们的发现表明，使用活动轨迹使参与者相比对照组对评估做出更多和更大的修改。这些修改也提高了他们收到的一致性和感知准确性。我们的发现证明了活动轨迹作为执行更可靠和客观的团队同伴评估方法的价值。基于我们的发现以及对研究中自由形式回复的定性分析，我们还确定并讨论了将活动轨迹纳入真实世界同伴评估系统的关键考虑因素和设计建议。