实时LLM知识支持系统的设计空间探索：一个术语解释的案例研究

研究背景与问题

• 作者发现的问题或挑战：
  实时知识支持系统面临的主要挑战包括：不同用户背景导致的知识差异、用户缺乏自我觉察的知识空缺、以及沟通中使用专业术语（即“术语冗余”）所产生的障碍。此外，现有的传统知识支持系统通常不能提供实时支持，在关键时刻往往无法满足用户需求。

• 为什么这个问题很重要：
  知识差异可能导致沟通中的误解甚至协作失败，特别是在跨领域的交流中。例如，研究指出，组织内部频繁使用术语冗余会阻碍团队的有效合作。这种障碍不仅影响日常操作，还可能限制未来的跨领域创新或协作。

• 研究动机与相关工作：
  作者受到知识管理系统和大语言模型（LLM）技术的启发。传统系统依赖预定义的数据仓库，不能实时解决无预期的知识空缺。而现代LLM有潜力快速生成实时知识支持内容，但如何设计知识表示格式、降低用户认知负荷、以及提升信息的相关性和可信度仍需进一步研究。

解决方案

• 作者提出的方法或解决方案：
  作者开发了一个名为“StopGap”的原型系统，用于实时检测视频中的术语，并提供基于LLM生成的知识支持，包括四种知识表示格式（定义、比喻、列表和图像）。系统还进行了设计探针研究，探讨各种视觉知识表示的效果，并绘制了实时知识支持系统的设计空间。

• 该解决方案的创新之处：

  • 利用LLM实时生成知识支持内容，而无需预定义数据仓库。
  • 结合知识视觉化研究，明确了四种核心知识表示格式在实时设置中的实用性。
  • 提出了一种设计空间，用于指导未来实时知识支持系统的开发。

• 实施步骤与关键技术：

  • 使用Whisper工具进行视频音频转文字转录并检测术语。
  • 通过GPT-4生成术语解释和支持性内容。
  • 设计一个前端用户界面，提供实时知识支持，并同步用户的视频观看体验。
  • 通过实验研究收集定量（如问卷）和定性（如访谈）数据以分析用户的偏好和认知负荷。

研究成果

• 取得的具体成果：

  • StopGap系统被用户认为在理解术语和内容方面非常有用，尤其是自动化功能显著减少了手动搜索的时间。
  • 演示了不同知识表示格式在实时场景下的优劣：定义适合快速获取直接信息，比喻利于长期记忆，列表提供详尽信息但容易造成认知负荷，图像支持快速理解但语义模糊时效果减弱。
  • 确定了用户对个性化、用户代理权和混合主动建议的高度需求。

• 与现有解决方案相比的优势：

  • StopGap系统通过自动化和实时生成的特性超越了传统知识支持系统，提供了灵活的响应能力。
  • 系统设计注重用户体验，帮助更高效地理解术语并减少知识阻碍。

• 实验或评估结果：

  • StopGap增强了视频内容理解，但未显著增加认知负荷（基于NASA-TLX数据），表明该系统在实时知识支持中是可行的。
  • 通过访谈确认了用户对知识表示的个性化需求及更复杂的交互方式的偏好。

• 局限性与未来方向：

  • 局限性包括研究样本量较小、知识支持的设计集中于术语解释，且未深入评估LLM生成内容的可信度。
  • 未来方向包括：开发集团协作知识支持系统；探索更复杂的知识类型（例如行为知识和事件知识）；研究LLM生成内容的验证机制以提高其准确性；深入研究用户代理权与自动化的平衡。

通过这项研究，作者不仅提出了一个有效的原型系统，还为智能知识支持系统的未来开发提供了理论框架和实践依据。这将有助于填补实时知识支持领域的研究空白，同时推动跨领域交流工具的创新。