幻灯片4N：通过人与AI协作从计算笔记本创建演示文稿

文献标题

Slide4N: Creating Presentation Slides from Computational Notebooks with Human-AI Collaboration

文献信息

• 主题领域: 人机协作与数据科学可视化工具设计
• 关键词: 幻灯片生成, 计算笔记本, 人机协作, 自然语言处理, 数据科学

研究背景与问题

• 问题或挑战:

  • 数据科学家通常需要从计算笔记本（如 Jupyter Notebook）手动提取内容并创建幻灯片，以向技术和非技术观众展示分析成果。
  • 笔记本文件通常内容冗长、格式杂乱，存在许多中间阶段的数据与笔记，不适合直接呈现为幻灯片。
  • 频繁的更新和手动操作导致创建幻灯片需要耗费大量时间，易于出错。

• 重要性:

  • 数据科学领域的合作与沟通需求极高，尤其在技术人员与非技术人员之间。简化从分析到展示的过程对于提高工作效率和减少重复性劳动至关重要。

• 研究动机与相关工作:

  • 现有解决方案包括 RISE、ToonNote 和 NB2Slides 等工具，但这些解决方案有限制：
    • 有些工具仅转化笔记本原始内容，未深度处理以生成易读的摘要和展示内容。
    • 大部分工具对输入笔记本质量有严格要求，并缺乏用户互动支持。
  • 本研究提出一种人机协作方法和 Slide4N 系统，通过结合 NLP 技术和用户交互设计，解决自动化生成和手动调整的平衡问题。

解决方案

• 方法或解决方案:

  • 设计 Slide4N，一个内嵌于 JupyterLab 环境的交互式 AI 助手，自动从用户选定的笔记本单元生成幻灯片。
  • 采用先进的自然语言处理技术生成幻灯片标题和要点摘要，使用算法分析笔记本单元关系并设计合适的幻灯片布局。

• 创新之处:

  • 提出了一种人机协作的幻灯片生成方法，避免完全自动化系统的局限性，同时允许用户干预生成过程。
  • 支持用户选择部分笔记本单元进行内容生成，而非依赖整个笔记本。
  • 与笔记本内容绑定，实现分析内容与演示内容的同步更新。

• 实施步骤与关键技术:

  • 定位相关单元: 构建代码单元关系图，根据共享变量计算相关性分数，并自动提示可能的相关单元。
  • 信息提取与摘要:
    • 使用 CodeT5 模型从代码单元生成幻灯片的要点。
    • 利用 HAConvGNN 和 T5 模型生成标题候选。
  • 内容组织与布局: 应用层次聚类算法和树型结构设计逻辑关联，基于内容关联形成幻灯片组布局。
  • 用户定制: 提供直观交互支持，允许用户调整标题、摘要和幻灯片布局。

研究成果

• 具体成果:

  • 开发了 Slide4N 系统，可自动生成幻灯片，并支持用户在生成基础上进行进一步调整。
  • 与其他人工或完全自动化方法相比，Slide4N 更高效，并能生成质量较高的幻灯片。

• 优势:

  • 缩短了幻灯片制作的时间，有效减少了从笔记本到演示工具之间的转换工作。
  • 提升了协作团队的沟通效率，尤其在技术与非技术成员之间。

• 实验或评估结果:

  • 用户研究结果表明，参与者对 Slide4N 较满意，尤其是能有效找到相关单元和生成易读的内容摘要。
  • 幻灯片内容一致性和布局逻辑性得到认可，但样式美观性稍显不足。
  • Slide4N 支持不同级别用户干预，能满足个性化需求。

• 局限性与未来方向:

  • Slide4N 对输入单元的生成仅限代码单元，而忽略了更细粒度的内容，例如标记文本或代码输出。
  • 系统在视觉化支持、幻灯片样式定制上存在进一步优化空间，例如增强编辑能力和提供更多导出格式。
  • 未来可以开展长期部署研究及与其他方法的对比研究，并考虑改进隐私保护功能，如本地运行支持。