GenAssist：使图像生成更具可访问性

文献标题

GenAssist: Making Image Generation Accessible

文献信息

• 主题领域: 可访问性、生成式人工智能、视觉创意工具
• 关键词: 可访问性, 图像生成, 生成式人工智能, 低视觉用户, 创意支持工具

研究背景与问题

• 问题与挑战:

  • 盲人和低视力（Blind and Low Vision, BLV）创作者难以有效生成或检索图像以满足他们的视觉创作和表达需求。
  • 当前生成图像工具对 BLV 创作者缺乏可访问性支持，尤其是在理解和评估生成图像内容与质量时面临困难。

• 重要性:

  • 图像是沟通与表达的重要媒介，但现有图像生成工具对 BLV 创作者不友好，限制了他们的创意可能性。
  • 尽管文本转图像模型能够以文本描述生成高保真图像，但 BLV 创作者难以评价生成结果是否符合创作意图。

• 研究动机与相关工作:

  • 先前研究已经尝试提高创作工具的可访问性，如触觉设备、音频通知或文本描述，但尚未深入探索如何使图像生成工具更加可访问。
  • 自动图像描述工具已经存在，但它们主要面向图像消费，而非创作者对生成图像的详细信息需求，如风格、光线或情感。

解决方案

• 提出方法:

  • GenAssist 系统旨在通过提示协助图像描述和比较，改善 BLV 创作者使用文本转图像生成工具的体验。
  • 系统提供了以下功能：
    • 验证是否符合文本提示。
    • 提供未在提示中指定的图像细节。
    • 归纳和比较生成图像的相似性与差异。

• 创新点:

  • 使用大语言模型（GPT-4）生成视觉相关问题，并结合视觉语言模型（BLIP-2 和 CLIP）生成问题答案，提取图像内容和风格信息。
  • 通过表格化格式为屏幕阅读器用户提供灵活的浏览体验，并按需生成详细图像描述。

• 实施步骤及技术:

  • 提示验证: 使用 GPT-4 生成基于提示的验证问题，BLIP-2 提供答案。
  • 内容与风格提取: 提取设置、主题、情感等图像内容，以及介质、光线和透视风格。
  • 描述总结: 整合视觉信息生成每张图像的详细描述，并比较多图像的相似性与差异。
  • 交互界面: 使用 Gradio 创建屏幕阅读器兼容的网页界面。

研究成果

• 具体成果与实验结果:

  • GenAssist 在用户研究中显著提高了 BLV 创作者理解和比较图像的能力：
    • 用户评价 GenAssist 更有效于理解图像之间的差异，且明显降低了任务中的精神负担和挫败感。
    • 与基线界面相比，用户对生成图像的满意度、信心以及选择效率均有所提升。
  • 系统自动生成的描述和答案覆盖率高，准确率在多数视觉信息类别中超过90%。

• 优势与特点:

  • GenAssist 提供了结构化的方式帮助 BLV 创作者快速理解生成的图像，并据此迭代文本提示。
  • 系统支持 BLV 创作者在未询问问题时即可获取重要的视觉信息，减少了重复性问题的需求。

• 局限性与未来方向:

  • 局限性:
    • 模型偶尔会生成错误信息或遗漏细节，如对图像风格、透视以及物体检测的错误分类。
    • 对复杂图表或信息图的支持尚不足。
  • 未来方向:
    • 通过更丰富的视觉问题及改进模型加强对细微差异的识别。
    • 开发支持信息丰富图形和动态内容（例如视频或动画）的功能。
    • 提供更直观的提示设计指导，例如可视样式推荐或多模态输入支持。

总结

GenAssist 提供了一种创新解决方案，使盲人和低视力创作者能访问并创作高质量图像，其设计挖掘了文本转图像生成技术与视觉描述的结合潜力。研究结果验证了其在多种任务中的有效性，代表了生成式人工智能在可访问性领域的重大进展，同时为未来创意工具的开发提供了新方向。