RAGTrace：理解和改进检索增强生成中的检索-生成动态

DOI

检索增强生成（RAG）系统通过整合外部知识检索与生成能力，已成为增强大型语言模型（LLM）的有前景方案。尽管在提高检索准确性和响应质量方面取得了重大进展，但一个关键挑战仍然存在：RAG系统中的内部知识集成和检索-生成交互在很大程度上是不透明的。本文介绍了RAGTrace，这是一个旨在分析基于RAG的系统中检索和生成动态的系统。通过综合文献综述和专家访谈的信息，该系统支持多层次分析方法，从高级性能评估到细粒度检索相关性、生成保真度和跨组件交互检查。与传统专注于孤立检索或生成质量评估的实践不同，RAGTrace支持对检索-生成关系的综合探索，使用户能够追踪知识来源并识别潜在故障案例。系统的工作流程使用户能够针对其特定兴趣领域构建、评估和迭代检索过程。通过对真实世界RAG应用案例研究和专家评估，展示了系统的有效性。