Forage：理解LLM辅助的对话数据意义建构

文献标题

Forage: Understanding LLM-facilitated sensemaking of conversation data

出版信息

• 主题领域: 基于LLM的工具用于探索性分析非结构化对话数据。
• 关键词: LLMs, RAG系统, 探索性搜索, 意义建构, 对话分析, 主题分析, 解释性维度, 用户研究, 新闻中的AI, 政府中的AI。

背景与问题

• 问题与挑战: 当前的检索增强生成（RAG）系统和LLM广泛应用于信息检索和综合，但在开放式、主观性强的意义建构任务（如分析对话数据）中缺乏可靠的评估。此外，人们还担心LLM生成的洞察可能存在同质化和偏见问题。
• 重要性: 理解LLM如何支持探索性意义建构对于新闻、政府和研究等领域至关重要，这些领域的核心是非结构化数据分析。这对提高效率、生成洞察以及减轻知识工作中的偏见具有深远影响。
• 动机与相关工作: 先前关于探索性搜索和意义建构的研究已发现技术支持迭代和解释性过程的潜力。然而，LLM在这些工作流中的整合仍未充分探索，尤其是在需要主观解释的情境中。本文基于意义建构和探索性搜索理论，填补了对用户需求以及LLM在主观分析中角色的理解空白。

解决方案

• 提出的方法: Forage是一种基于RAG的意义建构工具，通过结合检索和LLM生成的综合内容，促进对话数据的探索性分析。Wild Forage进一步扩展了这一工具，通过引入基于视角的解释性维度生成多种主题解释。
• 创新点:
  1. 开发了Forage，一个用于对话数据探索性意义建构的RAG系统。
  2. 提出了Wild Forage，一个设计启发工具，可沿指定轴（如政治倾向）生成数据的多种解释。
  3. 通过多阶段用户研究提供了关于用户需求和实践的实证洞察。
  4. 提出了一个基于LLM的探索性搜索中的用户查询类型分类法。
  5. 对比研究了LLM支持的意义建构与传统文本搜索的效果。
• 流程与关键技术:
  • Forage采用四阶段管道：检索相关发言内容、按相似性排序、结合引用的LLM综合、根据主题显著性重新排序。
  • Wild Forage通过LLM提示生成基于指定视角（如民主党与共和党）的主题分析。
  • 用户研究包括半结构化访谈、思维大声说出法，以及基于用户反馈的迭代设计调整。

结果

• 具体发现:
  • Forage支持主题生成（占查询的36%）和综合（占15%），用户更倾向于使用LLM生成的洞察而非纯检索内容。
  • Wild Forage揭示了不同解释性维度（如民主党与共和党）在语言框架和引用重点上的差异。
  • 在对比研究中，LLM支持的Forage被认为比文本搜索更易用、认知负担更小，并且在生成新想法方面更有效。
• 相较基线的优势:
  • Forage相比手动或仅搜索方法提供了结构化支持并揭示了新的洞察。
  • Wild Forage通过呈现替代主题框架帮助用户反思偏见。
• 实验与评估:
  • 对来自NPR、达勒姆市、欧洲足球俱乐部和美国政治竞选的27名参与者进行了用户研究。
  • 对比研究中，五名训练有素的意义建构者使用文本搜索与LLM支持的Forage分析对话数据。
  • 计算分析了Wild Forage基于视角的维度在语言和引用上的差异。
• 局限性与未来工作:
  • 在生成解释性维度时存在误导和刻板印象的风险。
  • 对非美国语境和其他语言的适用性有限。
  • 验证LLM生成输出的挑战以及确保其适当使用。
  • 未来工作包括探索识别解释性差异轴的计算方法，以及研究用户与多视角的交互。

总结

本文介绍了Forage，一种基于RAG的对话数据探索性分析工具，以及Wild Forage，一个用于生成多种主题解释的设计启发工具。通过新闻、政府和研究领域的用户研究，证明了Forage在结构化洞察和揭示新主题方面的实用性。对比研究确认LLM支持的Forage在易用性和生成新想法方面优于文本搜索。Wild Forage展示了基于视角的维度在抵消偏见和丰富意义建构中的潜力，但仍存在误导风险。这些发现为设计支持主观、开放式分析任务的LLM工具提供了重要启示。