幻灯片格式：用于非视觉访问的幻灯片演示中的自动结构提取

文献标题

Slide Gestalt: Automatic Structure Extraction in Slide Decks for Non-Visual Access

文献信息

• 主题领域: 人机交互和无障碍技术
• 关键词: 无障碍性, 幻灯片结构提取, 层次化信息, 屏幕阅读器, 多模态对应与对齐

研究背景与问题

• 作者发现的问题或挑战:

  • 当前用于幻灯片演示的软件（如PowerPoint或Google Slides）在帮助盲人及视障用户（BVI）访问内容方面存在极大局限性，包括缺乏元数据（如图片的替代文本）、元素阅读顺序错误等。
  • 幻灯片内容的视觉设计，尤其是重复结构（如标题、分隔和逐步幻灯片），在屏幕阅读器中表现不佳，导致阅读体验耗时且容易造成混淆。
  • 现有的作者创作实践倾向于视觉结构化，但缺乏对这些视觉意图的非视觉支持。

• 重要性:

  • 幻灯片是广泛使用的交流媒介，但其无障碍性直接影响了视障用户获取信息的效率。
  • 理解幻灯片的层次结构和内容意图对于屏幕阅读器用户高效导航至关重要。

• 研究动机与相关工作:

  • 过去研究侧重于幻灯片的基本元素无障碍性改进（如增加替代文本），但在幻灯片的整体结构和样式解释方面仍有很大缺口。
  • 文献分析发现了一些常见的幻灯片结构，如分隔幻灯片、逐步幻灯片和主题拆分幻灯片，这些设计为视障用户导航幻灯片提供了重要的研究线索。

解决方案

• 作者提出的方法或解决方案:

  • 提出一种自动化的处理系统 "Slide Gestalt"，以识别幻灯片组的层次结构并支持视障用户高效导航内容。
  • 通过计算幻灯片之间的视觉和文本对应关系，生成多级层次结构。

• 创新之处:

  • 使用多模态数据，包括文本和视觉特征，结合神经嵌入模型和序列比对算法来提取幻灯片的结构化信息。
  • 界面设计结合两级结构展示：高层次的部分概览和细粒度的幻灯片组描述，为用户提供了灵活的导航选项。

• 实施步骤与关键技术:

  1. 数据提取: 使用Google Slides API获得幻灯片元素，包括文本、图像及布局。
  2. 对应关系计算: 基于视觉和文本嵌入生成幻灯片间距离矩阵，并通过序列比对算法进行聚类。
  3. 结构检测: 检测分隔幻灯片、逐步幻灯片及主题拆分幻灯片，并区分独立幻灯片。
  4. 层次结构生成与描述: 提取幻灯片组的标题、重要元素以及范围，并调整阅读顺序以优化屏幕阅读器体验。

研究成果

• 具体成果:

  • Slide Gestalt完成了幻灯片层次结构的识别与生成，并通过实验验证其效果（F1评分=0.81）。
  • 用户研究表明，在滑动浏览和信息查找任务中，使用该系统的用户导航速度更快、重复信息更少且准确率更高。

• 与现有解决方案相比的优势:

  • 与传统屏幕阅读器的线性阅读模式相比，Slide Gestalt在辅助视障用户理解内容结构和减少信息冗余方面更有效。
  • 系统对多模态数据的处理能力增强了对幻灯片内容的总体把握。

• 实验或评估结果:

  • 在用户评价中，研究参与者以分级界面有效减少了回答问题的时间（45.8秒 vs. 96.9秒）和阅读不必要信息的元素数量（6.5个 vs. 20.6个）。
  • 所有参与者都认为分级界面对内容的理解更有帮助，且支持更灵活的阅读和导航方式。

• 局限性与未来方向:

  • 限制之一是系统无法检测动画对内容的影响，可能导致内容遮挡问题。
  • 当前方法需要直接访问幻灯片中的元素，难以处理PDF等限制格式。
  • 在结构生成方面，对递归结构推断仍有改进空间，未来可考虑基于大型语言模型的多模态推理。
  • 探索混合模式工具，以支持幻灯片作者在早期创作阶段嵌入结构性信息，为后续改进奠定基础。