Vipera：融合视觉与LLM驱动的引导以实现文本到图像生成AI的系统性审计

文献标题

Vipera: Blending Visual and LLM-Driven Guidance for Systematic Auditing of Text-to-Image Generative AI

出版信息

• 主题领域: 文本生成图像的生成式AI模型的系统化审计
• 关键词: 文本生成图像模型, AI审计, 场景图, LLM指导, 系统化审计, 可视化分析, 生成式AI, 人机协作, 偏差检测, 负责任的AI

背景与问题

• 问题/挑战: 当前对文本生成图像（T2I）生成式AI模型的审计方法在系统性探索AI生成图像的广泛语义空间方面存在局限性。审计人员通常依赖直觉，而现有工具缺乏用于组织和分析结果的结构化方法。
• 重要性: 解决T2I模型中的偏差、冒犯性内容及其他风险对于确保负责任的AI部署和减少社会危害至关重要。
• 动机与相关工作: 先前的研究探索了针对生成式AI的审计工具，重点关注文本模型或小规模图像评估。然而，这些工具在可扩展性方面存在困难，且未能提供全面支持以导航图像的语义丰富性。需要一种混合主动性工具，将人类与AI能力结合起来，以实现系统化和可扩展的审计。

解决方案

• 提出的方法: Vipera，一个结合视觉引导（场景图）和LLM驱动建议的交互式系统，用于支持T2I模型的系统化审计。
• 创新点:
  1. 集成场景图以可视化组织和总结图像语义，从而实现结构化探索。
  2. 利用LLM驱动的建议激发新的审计标准和提示，解决“未知的未知”问题。
  3. 协调视觉和LLM驱动的引导，降低认知负担并增强系统化审计。
  4. 提供记录和综合发现的工具，将其转化为可操作的审计报告。
• 流程与关键技术:
  • 场景图将图像语义聚合为具有可视化摘要（如柱状图）的层次结构。
  • LLM根据图像之间的差异和用户定义的关键词建议新的提示和标准。
  • 用户通过交互式视觉和文本引导迭代优化审计。
  • 笔记视图整合发现、书签和LLM辅助的自动补全功能，用于生成报告。

结果

• 具体发现:
  • 与基线系统相比，Vipera显著降低了心理负担并提高了性能，用户报告的性能提升具有统计显著性（p=0.0066）。
  • 参与者创建了更多的审计标准（AI支持系统中标准的87.2%和78.4%），并探索了更多的提示和图像。
  • AI引导激发了更广泛的探索，而视觉引导促进了系统化和详细的分析。
• 相较基线的优势:
  • 与没有视觉或AI支持的系统相比，Vipera实现了更系统化和彻底的审计，同时降低了认知负担。
  • 场景图与LLM建议的结合优于单一模式。
• 实验/评估:
  • 对24名参与者（20名普通审计员，4名专家）进行的对照研究，使用四种系统（基线系统和Vipera的三个消融版本）。
  • 评估指标包括NASA-TLX工作负荷评分、提示数量、标准和书签数量，以及审计报告的主题分析。
• 局限性与未来工作:
  • 研究在受控实验室环境中进行，参与者为学生审计员；需要进行真实环境和长期评估。
  • 固定的系统顺序可能引入学习效应。
  • LLM的不准确性偶尔会误导参与者；未来工作应改进标签准确性和用户信任。
  • 个性化、协作审计和细粒度视觉引导的潜力尚未被探索。

总结

Vipera是一个结合视觉场景图和LLM驱动建议的新系统，用于支持文本生成图像生成式AI模型的系统化审计。通过对照用户研究，Vipera展示了其在降低认知负担、激发更广泛探索以及实现更系统化和彻底审计方面的能力，相较基线系统表现更优。视觉和LLM驱动引导的结合具有互补性，提升了性能和用户体验。未来工作将聚焦于真实环境部署、改进AI标签准确性以及支持协作审计工作流。