在定义AI图像生成的残障代表中 meaningful 地赋能社区参与

文献标题

Engaging Communities Meaningfully in Defining Disability Representation for AI Image Generation

出版信息

• 主题领域: AI生成视觉媒体中的残障代表性。
• 关键词: 残障代表性, AI图像生成, 以人为中心的AI, 社区参与, 辅助技术, 包容性数据集, AI评估, 参与式设计, 边缘化社区, 倡导组织。

背景与问题

• 问题/挑战: 残障人士（PwD）在媒体中的形象长期以来要么缺失，要么被刻板化或不准确地表现。基于偏见数据集训练的AI生成图像延续了这些问题，产生了不现实且去人性化的残障人士形象。
• 重要性: 在AI生成媒体中准确地表现残障人士形象可以挑战刻板印象，肯定身份，并促进包容性，这对教育、就业以及社会对残障人士的认知有重要影响。
• 动机与相关研究: 以往研究主要关注个体自我表现，但缺乏由社区定义的AI集体表现标准。目前的AI数据实践将社区排除在外，依赖于偏见的网络抓取数据集。本研究通过使残障社区定义和策划AI数据集来填补这一空白。

解决方案

• 提出的方法: Community Library Creator——一个原型平台，支持残障社区定义积极的表现形式，策划数据集，并评估AI生成图像。
• 创新点:
  1. 基于技术支持的社区主导方法，用于定义和策划AI数据集。
  2. 引入设计支架，如Pinboard、Magazine和Community Library，用于结构化表现定义。
  3. 基于定性和定量洞察开发以社区为中心的AI评估指标。
• 流程与关键技术:
  • 阶段1: 通过Pinboard（图像选择与反思）、Magazine（主题优先排序）和社区外联活动定义表现形式。
  • 阶段2: 策划一个包含400张图片的平衡社区库，并附带注释，包括边界框和自动生成的提示。
  • 阶段3: 使用社区定义的提示和整体评分任务评估AI生成图像。

结果

• 具体发现:
  • 社区策划了包含约400张图片的主题数据集，反映了教育、工作和文化遗产等多样化的表现主题。
  • AI评估揭示了评估图像的细致标准，包括真实性、尊重性以及与提示的匹配度。
  • 项目负责人对AI生成图像进行了5分制评分，捕捉了偏好和定性洞察。
• 相较基线的优势:
  • 社区定义的数据集和评估指标提供了比通用或众包注释更丰富的、特定语境的洞察。
  • 专注于积极表现，避免了红队测试或以伤害为中心的提取性实践。
• 实验/评估:
  • 与三个残障倡导组织合作，这些组织代表了来自全球南北的侏儒症和视力障碍人士。
  • AI评估包括约300张由三个模型生成的图像（GPT-Image-1、Imagen4-Ultra、Stable Diffusion 3.5 Large Turbo）。
  • 混合方法：对访谈记录、系统条目和社区反馈进行定性内容分析。
• 局限性与未来工作:
  • 由于仅与三个组织合作，普适性有限；需要更广泛的研究。
  • 未针对模型特定错误；未来工作可解决模型特定局限性。
  • 关于扩展数据集以用于预训练及将其用于模型对齐的开放性问题。

总结

本文介绍了Community Library Creator，一个原型平台，使残障社区能够定义积极的表现形式，策划数据集，并评估AI生成图像。与三个倡导组织的合作产生了主题数据集和细致的评估指标，解决了AI媒体生成中的历史偏见。研究结果突出了表现的解释性和语境性，强调了社区在塑造AI数据实践中的主动性。未来工作应探索更广泛的适用性和模型特定的调整，以提高生成式AI系统的包容性。