你的毒性是我的毒性吗？探索评分者身份对毒性标注的影响

机器学习模型常用于检测在线对话中的毒性。这些模型由人工评分者标注的数据集训练而成。我们探索评分者自我描述的身份如何影响他们对在线评论的毒性标注。我们首先定义了专业评分者池的概念：基于评分者自我描述的身份而非随机形成的评分者池。我们为本研究组建了三个这样的专业评分者池——来自美国且自认为非裔美国人、自认为LGBTQ以及自认为两者都不是的评分者池。每个评分者池对同一组评论进行标注，这些评论包含许多对这些身份群体的引用。我们发现评分者身份是评分者如何标注身份相关注释毒性的统计显著因素。通过初步内容分析，我们检查了评分者池之间分歧最大的评论，发现毒性标注存在细微差异。接下来，我们基于来自不同评分者池的标注训练模型，并比较这些模型在多个测试集评论上的分数。最后，我们讨论使用自我识别与评论主体相关的评分者如何能创建更具包容性的机器学习模型，并提供比随机评分者更细致的评分。