你的毒性是我的毒性吗？探索评分者身份对毒性标注的影响

机器学习模型常用于检测在线对话中的毒性。这些模型使用人工评分者标注的数据集进行训练。我们探索评分者自我描述的身份如何影响他们对在线评论中毒性的标注。我们首先定义了专业评分者池的概念：即根据评分者自我描述的身份而非随机形成的评分者池。本研究组建了三个这样的评分者池——来自美国的非裔美国人、LGBTQ 以及既不属于非裔美国人也不属于 LGBTQ 的评分者池。每个评分者池对同一组评论进行标注，这些评论包含许多对这些身份群体的引用。我们发现，评分者身份是评分者如何对与身份相关的标注进行毒性标注的一个统计显著因素。通过初步内容分析，我们检查了评分者池之间分歧最大的评论，发现毒性标注存在细微差异。接下来，我们使用来自不同评分者池的标注训练模型，并比较这些模型在多个测试集评论上的分数。最后，我们讨论了使用与评论对象自我认同的评分者如何能够创建更具包容性的机器学习模型，并提供比随机评分者更细致的评分。