「看见」即成见：图像标签算法、性别识别与准确率-公平性权衡

用于标记图像的机器学习计算机视觉算法正被开发者和研究人员越来越多地使用，已经作为易于使用的「认知服务」而普及。然而，这些工具在性别识别方面存在困难，尤其是在处理女性、有色人种和非二元个体的图像时。 socio-technical 研究人员指出数据偏差是一个关键问题；训练数据集通常过度代表传达社会刻板印象的人物和背景图像。社会心理学文献解释，人们通过观察特定角色和背景中的他人来学习社会刻板印象，并可能无意中学会将性别与场景、职业和活动联系起来。因此，我们研究图像标签算法在多大程度上模仿了这一现象。我们设计了一个控制实验，以检查算法对背景的识别与所描绘人物的性别之间的相互依赖性。为了解机器行为而进行审计的精神，我们创建了一个高度控制的数据集，将人物图像置于性别刻板印象的背景上。我们的方法可复现，代码公开可用。在评估五种专有算法后，我们发现在三种算法中，引入背景会阻碍性别推断。在同时「看到」背景和性别的两种算法中，其输出最符合人类刻板印象过程的算法在性别识别方面表现更好。我们讨论了准确率与公平性的权衡，以及审计黑箱在更好理解这把双刃剑方面的重要性。