设计LLM的分阶段评估工作流程：整合领域专家、普通用户和模型生成的评估标准

文献标题

Designing Staged Evaluation Workflows for LLMs: Integrating Domain Experts, Lay Users, and Model-Generated Evaluation Criteria

出版信息

• 主题领域: 面向特定领域任务的大型语言模型（LLMs）评估工作流。
• 关键词: 大型语言模型，评估标准，领域专家，普通用户，人机协作，分阶段工作流，标准漂移，可用性测试，自然语言处理，LLM-as-a-Judge。

背景与问题

• 问题/挑战: 现有的LLM评估方法往往未能充分考虑多样化来源（领域专家、普通用户和LLMs）的独特贡献，以及评估标准在不同评估阶段的演变过程。当前方法在成本、可扩展性以及与领域特定标准的对齐方面存在局限性。
• 重要性: 有效评估LLMs对于确保其准确性、可靠性以及与终端用户需求的对齐至关重要，尤其是在医疗和教育等高风险领域，错误可能带来重大后果。
• 动机与相关工作: 先前研究集中于LLM评估的工具和系统（如EvalLM、EvalAssist）以及人机协作的角色。然而，对于不同来源如何贡献评估标准以及如何设计有效整合这些视角的工作流，仍存在研究空白。

解决方案

• 提出的方法: 一个分阶段的评估工作流，整合领域专家、普通用户和LLMs，以利用其在创建和优化评估标准方面的互补优势。
• 创新点:
  1. 对领域专家、普通用户和LLMs在两个阶段（a priori 和 a posteriori）创建的评估标准进行实证分析。
  2. 识别评估过程中标准漂移和收敛的模式。
  3. 提供分阶段评估工作流的设计指南，以平衡质量、成本和可扩展性。
• 过程和关键技术:
  • 参与者（领域专家和普通用户）以及LLMs为营养学和数学教学领域的提示生成评估标准。
  • 标准分两个阶段创建：a priori（基于提示）和a posteriori（在审阅输出后）。
  • 使用三种LLMs（GPT-4o、Claude 3.5 Sonnet、Gemini 1.5 Flash）生成输出。
  • 通过定性编码和主题分析，对标准在各阶段的相似性、差异性及演变进行分析。

结果

• 具体发现:
  • 领域专家创建了详细的、基于知识的标准，与专业标准对齐，注重长期结果。
  • 普通用户强调可用性、清晰性和呈现方式，反映了即时的实际需求。
  • LLMs生成了与提示或输出紧密相关的通用标准，但缺乏深度和上下文意识。
  • 观察到标准漂移，领域专家和普通用户在发现输出中的缺陷或错误后引入了新标准，而LLMs的适应性有限。
  • 在a posteriori阶段出现了标准收敛，所有来源均聚焦于输出中的可观察特征。
• 相较基线的优势: 分阶段工作流利用了领域专家、普通用户和LLMs的互补优势，克服了依赖单一来源或单一阶段的现有评估方法的局限性。
• 实验/评估:
  • 在营养学和数学教学领域的案例研究，每个领域包括五名领域专家和五名普通用户。
  • 针对每个领域的三个场景，使用三种LLMs生成输出。
  • 通过定性编码和主题分析，对a priori和a posteriori阶段的标准进行分析。
• 局限性与未来工作:
  • 样本量较小，限制了研究的普适性；未来研究应包括更大规模的参与者和更多领域。
  • 提议的工作流的实际应用尚未测试。
  • 需评估LLM-as-a-Judge系统中标准的可靠性，并探索相关提示的泛化能力。

总结

本研究提出了一种分阶段的LLM评估工作流，整合领域专家、普通用户和LLMs以创建和优化评估标准。领域专家贡献了与专业标准对齐的知识型标准，普通用户强调了可用性和清晰性，而LLMs提供了通用的基线标准。研究识别了标准漂移和收敛模式，强调了在早期引入人类判断的重要性，以确保质量并减少强化有缺陷输出的风险。本文提供了设计指南，以在评估工作流中平衡成本、可扩展性和质量，并对改进实际应用中的LLM评估系统具有重要意义。