图像摘要中的隐性多样性设计

研究表明，图像搜索结果中描绘的人往往倾向于在性别或种族等社会显著属性方面属于多数群体。这种偏差超出了世界中已经存在的程度——即人物图像搜索结果的不平衡程度比实际情况更严重。例如，Kay等人[46]显示，尽管美国28%的CEO是女性，但谷歌图像搜索"CEO"前100个结果中只有10%是女性。在搜索词和社会显著属性方面类似的观察很普遍。纠正这种偏差的大多数现有方法假设人物图像包含标注相关社会显著属性的标签。这些标签被明确用于更改数据集、调整算法训练和/或执行方法。然而，这种标签通常是未知的。此外，使用机器学习技术推断这些标签通常在可接受的准确度范围内是不可能的，并且由于此过程可能 incur 额外偏差，可能不可取。正如先前工作所观察到的，替代方法考虑图像特征的多样性，但这往往无法转化为明显多样化的人物图像。我们开发了一种新方法，将明显多样化的人物图像控制集作为输入，并使用该集合作为响应查询选择人物图像集合的一部分。目标是使结果集合在模拟控制集中描绘的多样性的方式上更加明显多样化。它通过评估黑盒算法选择的图像与多样性控制集中图像的相似性，并将这个"多样性分数"纳入最终选择过程来实现这一点。重要的是，这种方法不需要在任何时候对图像进行标注；实际上，它提供了一种隐式多样化所选图像集合的方法。我们提供了两种方法变体：第一种是对众所周知的MMR[14]算法的修改以纳入多样性分数，第二种是更有效的变体，不考虑列表内冗余。我们在两个图像数据集上凭经验评估这些方法：1) 我们收集的新数据集，包含96个职业的谷歌图像搜索前100个结果，我们评估了与职业相关的性别和肤色多样性；2) 众所周知的CelebA[55]数据集，包含名人图像，我们可以评估与"微笑"或"眼镜"等面部特征相关的性别多样性。我们的两种方法都产生了显著改善结果明显多样性的图像集合（即包含更大比例的反刻板印象图像），相对于当前的谷歌图像搜索和各种用于多样化图像摘要的最新算法。此外，它们似乎以最小的准确度损失为代价。这些实证结果证明了简单的标签无关干预在多样化图像搜索中的有效性。