用户驱动算法审计中的意义建构：图像字幕模型性别偏见的案例研究

文献标题

Sensemaking in User-Driven Algorithm Auditing: A Case Study on Gender Bias in an Image Captioning Model

出版信息

• 主题领域: 用户驱动的算法审计，用于检测人工智能系统中的性别偏见。
• 关键词: 理解建构，算法审计，性别偏见，图像描述，用户界面，非专业用户，视觉-语言模型，透明性，问责制，人机交互。

背景与问题

• 问题/挑战: 算法系统经常表现出偏见，例如性别偏见，但供非专业用户审计这些系统的工具有限。现有工具主要关注性能评估，而非开放式探索，难以支持迭代的理解建构过程。
• 重要性: 解决人工智能系统中的偏见对于确保公平性、透明性和问责制至关重要，特别是在这些系统影响社会规范和决策的情况下。
• 动机与相关工作: 先前研究记录了图像描述模型中的性别偏见，例如强化刻板印象和基于性别错误分类角色。尽管专家主导的审计已识别出这些偏见，但非专业用户的用户驱动审计仍未得到充分探索。本研究基于理解建构框架设计工具，赋能非专业用户发现和推理偏见。

解决方案

• 提出的方法: 开发并评估三种界面——基线界面、图像遮罩工具和文本过滤工具，旨在通过迭代的理解建构支持非专业用户审计图像描述模型中的性别偏见。
• 创新点:
  1. 将理解建构框架应用于用户驱动的算法审计。
  2. 设计并评估专门工具（遮罩和过滤）以支持假设生成和证据收集。
  3. 实证展示界面设计如何影响偏见检测和用户信心。
  4. 对非专业审计员识别的性别偏见模式进行主题分析。
• 流程与关键技术:
  • 使用 Salesforce BLIP 图像描述模型和 Visogender 数据集进行一项包含 60 名参与者的组间研究。
  • 参与者在三种条件下审计模型：基线（开放式探索）、遮罩（操控视觉输入）和过滤（通过关键词查询描述）。
  • 收集的数据包括偏见卡片（假设和证据）、信心评分以及识别偏见的主题分析。

结果

• 具体发现:
  • 参与者识别出四种主要的性别偏见模式：刻板印象的强化、性别优先于职业、对视觉线索的偏见性依赖以及性别化语言的等级结构。
  • 遮罩工具揭示了基于视觉线索的角色归因不一致性，而过滤工具暴露了系统性的语言不对称。
  • 过滤条件下的参与者每个假设收集的证据显著多于遮罩条件（平均 = 5.25 项）。
  • 在工具支持的条件下，信心评分与收集的证据数量相关，但在基线条件下无此关联。
• 相较基线的优势:
  • 遮罩工具支持对视觉线索的细粒度反事实测试，揭示了在性别线索被遮蔽时的角色错误归因等偏见。
  • 过滤工具促进了更广泛的语言模式检测，例如标记性和性别化描述符。
  • 两种工具均比基线界面支持更多样化和系统化的偏见识别。
• 实验/评估:
  • 参与者: 60 名非专业用户（性别平衡，教育背景多样，无审计经验）。
  • 数据集: 来自 Visogender 数据集的 80 张图像，聚焦医疗职业。
  • 评估指标: 偏见卡片数量、每个假设的证据项、偏见的主题分布和信心评分。
• 局限性与未来工作:
  • 仅限于固定数据集和特定领域（医疗职业）。
  • 未包含边缘化社区，可能限制了视角的多样性。
  • 聚焦于个体审计；未来应探索协作式和长期的审计。
  • 交互日志和真实世界环境可能为理解建构过程提供更深入的见解。

总结

本研究展示了基于理解建构框架的界面设计如何赋能非专业用户审计人工智能系统中的性别偏见。通过对图像描述模型的案例研究，使用遮罩和过滤工具的参与者识别出多样化的偏见模式，如刻板角色分配和语言不对称。这些工具塑造了观察的细粒度和假设的信心，突出了视觉和语言信号在模型行为中的相互作用。未来研究应将此方法扩展到其他领域，支持协作审计，并将理解建构工具整合到日常人工智能交互中，以促进透明性和问责制。