注释者人口统计学对情感数据集标注的影响

随着机器学习方法变得更强大并捕捉更多人类行为细微差别，数据集中的偏见会塑造模型的学习和评估方式。本文探索并尝试量化创建情感分析数据集时由于注释者人口统计学造成的 uncertainty 和偏见。我们邀请1000多名众包工作者提供他们的人口统计信息以及对多模态情感数据及其组成模态的标注。我们表明，注释者之间的人口统计学差异对其评分有显著影响，且这些影响也出现在每个组成模态中。我们将不同先进多模态机器学习算法的预测与不同人口统计学群体提供的标注进行比较，发现改变注释者人口统计学在判断积极与消极情感时可导致超过4.5%的准确率差异。我们的发现强调了在构建数据集、评估算法和解释情感分析结果时考虑众包工作者属性（如人口统计学）的重要性。