Marco：通过以集合为中心的信息搜索支持商务文档工作流程的大语言模型

文献标题

Supporting Business Document Workflows via Collection-Centric Information Foraging with Large Language Models

文献信息

• 主题领域: 人机交互、信息检索、人工智能
• 关键词: 文档集合, 意义构建, 大语言模型, 人机协同系统, 商业文档工作流

研究背景与问题

• 发现的问题:

  • 知识工作者需要从复杂文档集合中提取关键信息以解决复杂任务（如审阅简历、分析合同风险），但信息搜寻涉及重复性高且耗时的手工劳动。
  • 当前的工具普遍缺乏对文档集合的有效支持，更多是针对单一文档的操作。
  • 缺少帮助工作者同时处理多文档集合的工具，导致在意义构建（sensemaking）过程中需大量时间提取和组织信息。

• 重要性:

  • 高效提取和处理文档集合中的信息对加速决策制定至关重要；但当前方法可能遗漏关键信息，进而影响工作质量。

• 研究动机:

  • 针对商业流程中的文档需求，创新性地使用AI，从集合级别入手简化信息搜寻工作流。
  • 发掘混合引导式界面（混合人类与AI交互）以及使用大语言模型（LLMs）辅助工作的潜力。

解决方案

• 提出的方法/解决方案:

  • 系统名为Marco，提供整合的交互式环境，包含Notebook View（笔记视图）、Table View（表格视图）及Document View（文档视图）。
  • 系统基于大语言模型（LLMs）进行信息提取和分析：
    • 搜索特定关键词或主题。
    • 文档级别提问与多文档集合的跨文档整合问答。
    • 提供自动化文档摘要功能。

• 创新之处:

  • 基于集合交互（collection-centric interaction），减少用户逐一处理多个文档的认知负担。
  • 通过自然语言支持用户动态表达信息需求，高效实现信息搜寻、提取与比较的自动化。
  • 提供多维度交互参考，包括以表格形式整合结果及返回文档中的高亮出处以支持验证。

• 关键技术与步骤:

  1. 文档预处理：上传PDF后，提取内容、结构化为JSON并进行语义向量化处理（基于SentenceTransformers语义嵌入）。
  2. 动作单元执行：采用基于大语言模型（如GPT-3.5）的零样本和少样本提示，支持问答、搜索与摘要功能。
  3. 多文档问题分解：采用多阶段提示策略，实现跨文档语义综合。
  4. AI推荐：分析用户的交互行为并建议潜在后续查询，帮助用户高效探索。

研究成果

• 具体成果:

  • 用户效率提升: 在对比实验中，用户使用Marco完成任务的速度比手动方法提高16%，同时显著降低了工作负担。
  • 用户体验改善: 用户普遍给出较高的系统可用性分数（平均SUS得分为74.5，显示良好可用性）。
  • 与专业场景匹配度: 设计探究显示，专业知识工作者认为Marco符合现实场景需要，并提供了额外整理与分析的便利性。

• 与现有解决方案的对比:

  • 提升了大规模多文档集合中的分析和比对效率，而传统工具（如PDF阅读器）依然局限于逐篇文档的个体操作。
  • 提供对信息结果验证的支持，增强用户对LLM生成答案的信任与控制。

• 实验或评估结果:

  1. 使用了两组用户实验来测试效率与适用性：
     • 利用简历筛选与服务合同比较任务，用户在时间、精力投入、交互负担等方面均显示出使用Marco的显著优势。
     • 专家反馈表明，通过引入可验证的AI协助，能够减少常规错误并补充工作流。
  2. 系统明确显示模型生成内容的来源，对高风险任务的验证步骤表达了强支持。

• 局限性与未来方向:

  • 局限性：
    • 系统目前主要支持文本内容操作，且任务设计较短，与长期复杂工作流的兼容性需进一步研究。
    • LLM的潜在幻觉（hallucination）问题可能影响高风险决策场景中的过度依赖。
  • 未来方向：
    • 拓展支持多模态文档内容（如图像、表格）。
    • 深入用户长期使用情境，探索更复杂的交互设计与不确定性处理工具（如结果可视化或群聚分析）。

总结

Marco展示了如何利用集合层面的AI技术赋能商业文档工作流，通过降低重复劳动和繁琐整理的成本，从而释放用户专注于深层意义构建与决策分析的能力。这项研究为未来面向文档处理的混合系统设计与评估奠定了基础。