人工智能生成图像中残障偏见的评估界面支持

文献标题

Interface Support for Evaluating Disability Bias in AI-Generated Images

出版信息

• 研究领域: 通过面向用户的干预措施解决AI生成文本到图像输出中的残障偏见问题。
• 关键词: AI偏见, 文本到图像模型, 残障表征, 刻板印象, 用户界面, 教育干预, AI反馈, 生成式AI, 提示工程, 残障研究。

背景与问题

• 问题/挑战: 生成式文本到图像（T2I）模型经常复制关于残障人士的刻板印象和偏见，产生不准确或有害的表征。现有策略如数据集改进和模型微调尚未完全消除这些偏见。
• 重要性: 解决残障偏见对于确保AI系统的公平性至关重要，特别是在T2I模型广泛应用于教育、营销和艺术等多样化领域的情况下。
• 动机与相关研究: 先前研究记录了AI生成图像中的偏见，例如“励志色情”（inspiration porn）和对残障的夸张描绘。尽管终端用户审计在识别偏见方面显示出潜力，但用户通常缺乏有效评估残障刻板印象的专业知识。本文探讨了面向用户的干预措施是否能赋能非专业用户识别和避免偏见表征。

解决方案

• 提出的方法: 开发两种面向用户的干预措施：(1) 一个解释残障刻板印象的教育模块；(2) 一个分析图像中刻板印象的AI生成反馈。
• 创新性:
  1. 对两种干预措施在支持AI生成图像中刻板印象检测的效果进行实证评估。
  2. 分析用户对图像中残障表征的偏好。
  3. 提供改进AI界面和提示工程的设计启示。
• 方法与关键技术:
  • 教育干预: 一个单页模块，描述四种刻板印象类别（怜悯、非凡、医学/死亡率、不准确的辅助技术），并提供示例和更好表征的指导。
  • AI反馈干预: 使用ChatGPT（gpt-4o-mini）对图像进行实时分析，检测刻板印象并提供简短解释。
  • 评估: 控制实验（N = 103），测量干预前后图像评分的变化；以及定性研究（N = 10），探索用户对两种干预措施的体验。

结果

• 具体发现:
  • 教育干预显著降低了参与者使用带有刻板印象图像的可能性（平均评分下降：0.6分）。
  • AI反馈干预未显示出统计学上的显著效果，但参与者认为其具有帮助作用。
  • AI反馈的准确率平均为80%，假阴性率为34%，假阳性率为4%。
• 相较基线的优势:
  • 接受教育干预的参与者降低刻板印象图像评分的可能性比未接受干预的参与者高出85%。
  • AI反馈干预突出了刻板印象，但用户对错误反馈的接受率超过50%，表现出过度依赖。
• 实验/评估:
  • 控制实验（N = 103）：参与者在干预前后对图像进行评分，评估表征质量和使用可能性。
  • 定性研究（N = 10）：参与者使用原型生成图像，并对干预措施和提示工程挑战提供反馈。
  • 评估指标：Likert量表评分、开放式回答的主题分析，以及AI反馈与专家编码的真实值的准确性比较。
• 局限性与未来工作:
  • 参与者群体中多样化人口的代表性有限。
  • AI反馈干预存在错误率高的问题，且用户对其过度依赖。
  • 未来研究应探索与残障社区的共同设计、文化响应性的刻板印象定义，以及非视觉界面适配。

总结

本文研究了面向用户的干预措施以解决AI生成图像中的残障偏见问题。教育模块显著降低了使用带有刻板印象图像的可能性，而AI反馈干预由于准确性限制和用户过度依赖表现出混合结果。参与者优先选择“看起来像残障人士”的真实图像，但在图像基调偏好上存在差异，有些人倾向于日常表征，而另一些人则强调挣扎或痛苦。研究结果揭示了改进AI界面、支持提示工程以及使输出与残障社区价值观对齐的机会。