CrossLit：连接文献综述的视觉与文本理解

文献标题

CrossLit: Connecting Visual and Textual Sensemaking for Literature Review

出版信息

• 主题领域: 文献综述认知的集成工具
• 关键词: 文献综述、认知、视觉-文本集成、学术工作流、框架构建、混合查询、元数据可视化、叙事构建、跨模态同步、人机协作

背景与问题

• 问题/挑战: 现有的文献综述工具要么专注于元数据探索的视觉界面，要么专注于叙事构建的文本界面，但缺乏整合，迫使研究者在工具之间切换，破坏了工作流的连续性。
• 重要性: 文献综述是学术研究中必不可少但认知负担较重的任务。整合视觉和文本模态可以简化流程，降低认知负担，并提高综述质量。
• 动机与相关工作: 现有工具要么提供宏观概览（如引文网络），要么支持主题组织和写作。然而，它们未能弥合探索与综合之间的差距，研究者不得不手动协调跨模态的洞察。本论文旨在开发一个统一系统，能够同步视觉和文本模态。

解决方案

• 提出的方法: CrossLit，一个整合视觉和文本界面的文献综述系统，支持探索、组织和叙事构建之间的无缝转换。
• 创新点:
  1. 视觉和文本模态之间的双向同步，确保两者结构的一致性。
  2. 结合元数据驱动和内容驱动发现的混合查询功能。
  3. 支持文献综述中的关键中间阶段——框架构建。
  4. 集成大型语言模型（LLMs），实现自适应文本生成和语义一致性。
• 流程与关键技术:
  • 视觉编辑器：通过元数据轴、层级分组和引文可视化实现论文的空间组织。
  • 文本编辑器：支持叙事的层级结构化，提供内嵌引文和基于块的编辑功能。
  • 同步机制：维护视觉与文本表示的一一对应关系，利用LLMs在模态间调整内容。
  • 混合查询：结合基于引文和语义搜索发现相关论文，并通过跨模态编码器重新排序。

结果

• 具体发现:
  • CrossLit的系统可用性量表（SUS）得分为73.2，表明其可用性高于平均水平。
  • 参与者每次会话平均检索18.31篇论文，其中62.2%通过混合查询获得。
  • 混合查询在结构一致性（引文密度：0.0358）和语义相关性（相似度：0.3818）之间实现了平衡，优于单一模态基线。
• 相较基线的优势:
  • 与传统工作流相比，支持更频繁且更细粒度的迭代。
  • 集成的发现功能减少了对多种工具的依赖，将探索、分组和写作整合到一个系统中。
• 实验/评估:
  • 对16位研究者（HCI领域，平均经验4.5年）进行用户研究，让他们在自己的研究主题上使用CrossLit 45分钟。
  • 数据通过“边思考边说”协议、屏幕录制和任务后访谈收集。
  • 序列模式分析揭示了模态使用的显著差异：早期探索阶段偏向视觉模态，后期叙事构建阶段偏向文本模态。
• 局限性与未来工作:
  • 可扩展性：当前可视化支持约100篇论文，未来工作需解决更大数据集的问题。
  • 同步机制：用户对自动更新时如何保留精心编写内容表示担忧。
  • 高级阶段：需要纵向研究评估对综述后期阶段（如评估和协作）的支持。

总结

CrossLit整合了视觉和文本模态，支持文献综述过程中的探索、框架构建和叙事构建之间的无缝转换。其双向同步和混合查询功能使研究者能够迭代优化综述，同时平衡元数据驱动和内容驱动的发现。一项用户研究证明了其在支持细粒度迭代和框架开发方面的有效性，但在可扩展性和保留用户精心编写内容方面仍存在挑战。未来工作应探索自适应同步和跨层集成，以增强对复杂认知任务的支持。