NBSearch：计算笔记本的语义搜索和可视化探索

文献标题

NBSearch: Semantic Search and Visual Exploration of Computational Notebooks

文献信息

• 主题领域: 人机交互与信息检索，特别是计算笔记本代码搜索
• 关键词: 语义代码搜索, 搜索结果可视化, 计算笔记本, 文档与文本分析, 自然语言处理, 深度学习, 代码探索, 用户界面设计

研究背景与问题

• 研究背景: 计算笔记本（如Jupyter Notebook）是现代编程活动中的重要工具，它可以将代码、文档和输出结合在一个文档中，以支持动态开发。然而，由于其非线性结构和高自由度，计算笔记本的代码管理和搜索面临挑战。
• 主要问题:
  1. 传统代码搜索方法（如关键字搜索）难以高效处理计算笔记本中松散且非线性的代码片段。
  2. 搜索结果之间复杂的内部（同一笔记本内）及外部（不同笔记本间）关系也难以被现有的搜索引擎清晰呈现。
• 研究重要性: 有效的代码搜索对开发者理解代码片段的上下文、发现相关代码以及提升开发效率至关重要。
• 研究动机与相关工作:
  • 语义代码搜索（Semantic Search）允许开发者使用自然语言查询代码，但现有的语义搜索工具很少专注于计算笔记本。
  • 过去的工具大多关注代码的版本管理、历史记录等支持功能，而非高效的代码搜索和搜索结果可视化。

解决方案

• 核心方法:

  1. 提出了NBSearch，一个支持语义代码搜索和搜索结果交互式可视化的新系统。
  2. NBSearch采用深度学习技术（如seq2seq模型）生成代码的自然语言描述符，并通过Doc2Vec语言模型处理自然语言查询。
  3. 设计了一个创新的搜索结果可视化界面（NBLines），帮助开发者理解代码之间的复杂关系。

• 创新之处:

  • 在计算笔记本中采用细粒度的单元格级别（cell-level）语义搜索。
  • 使用NBLines可视化展示笔记本中和笔记本间代码单元的关系，并支持交互式探索。
  • 结合深度学习的代码翻译与语义嵌入方法，提升搜索的语义相关性。

• 实施步骤与关键技术:

  1. 构建搜索数据库:
     • 使用包含注释的代码单元训练seq2seq翻译模型，将代码“翻译”成对应的文本描述符。
     • 对于缺少注释的代码单元，使用训练好的翻译模型自动生成描述符。
     • 使用Doc2Vec对所有描述符进行语义表征，建立检索数据库。
  2. 搜索及结果展示:
     • 用户输入自然语言查询后，系统通过Doc2Vec模型将查询转换为嵌入向量，并检索最相关的描述符。
     • 搜索相关代码单元通过NBLines进行可视化及交互式展示。
  3. 迭代设计:
     • 与领域专家进行为期6个月的参与式设计，通过原型测试收集反馈，逐步优化系统。

研究成果

• 具体成果:

  • 开发了一个功能齐全的NBSearch原型，支持开发者在大规模笔记本集上进行语义代码搜索。
  • 提出了NBLines可视化工具，展示了笔记本中和笔记本间代码关系。
  • 实现了一个完整的计算框架，从数据库预处理到前端界面，优化代码搜索体验。

• 与现有解决方案的比较优势:

  1. NBSearch支持基于自然语言的模糊搜索，弥补了现有代码搜索工具的不足。
  2. 针对笔记本高度非线性和灵活的结构，NBSearch将搜索单元细化至单元格级别，并支持挖掘复杂的代码关系。
  3. 系统以交互式可视化增强搜索结果的理解和探索，超越传统的基于列表的结果展示。

• 实验与评估结果:

  1. 实验结果: 使用多个深度学习模型评估了搜索引擎的性能（如BLEU评估翻译模型）。
  2. 用户研究: 在Uber内部对12名经验丰富的开发者进行了用户研究，得到如下反馈：
     • NBSearch在查询效率、搜索结果的相关性和系统易用性上获得了正面评价。
     • NBLines的交互式功能帮助开发者快速理解和探索代码关系。
  3. 性能瓶颈:
     • 某些参与者认为搜索结果需要更多背景信息。
     • 部分用户界面设计（如dots view）存在理解门槛。

• 局限性与未来方向:

  1. 当前模型仅对笔记本代码单元进行语义描述，未考虑到markdown注释的关系。
  2. 未来可以扩展支持子单元和多单元级别的搜索。
  3. 用户对系统界面的理解存在一定学习曲线，可优化NBLines的展示方式并提供即时教程。
  4. 尝试更大规模数据集上的模型训练以提高检索结果的精确性和泛化性。

总结

NBSearch展示了如何利用深度学习和交互式可视化技术，支持计算笔记本的语义搜索和代码关系探索。未来工作可以改善模型性能、增强界面设计以及扩展应用场景，为开发者带来更高效的代码管理和搜索体验。