EvalLM：基于用户定义标准的大语言模型提示的交互式评估

文献标题

EvalLM: Interactive Evaluation of Large Language Model Prompts on User-Defined Criteria

文献信息

• 主题领域: 人机交互，语言模型评估与优化
• 关键词: 大语言模型(LLM)、自然语言生成、评估、人机交互、提示设计、自动化评估、生成任务

研究背景与问题

• 作者发现了哪些问题或挑战？

  • 大语言模型(LLMs)的生成效果受到提示设计的显著影响，但提示设计过程难以标准化，且生成任务往往需要基于主观、特定上下文的标准来评价模型的输出。
  • 在早期开发阶段，设计者通常没有资源聘请外部注释员，因此只能耗费大量时间手动评估LLM输出。然而，手动评估因主观性高和涉及多重标准的复杂性，无法有效指导提示优化。
  • 当前缺乏专门工具来支持提示设计者针对生成任务进行高效的迭代评估与改进。

• 为什么这个问题很重要？

  • 提示设计是构建基于LLMs的生成应用的核心环节，如果不能合理地检测和优化提示，将限制这些应用的开发效率并影响其生成质量。
  • 在开发阶段推广任务特定的评估方法有助于填补开发与部署之间的差距，使设计者能够在提示优化后更有信心地推进人类评估或展开更广泛测试。

• 研究动机与相关工作

  • 通过访谈设计师和汇总现有工具，作者确定了设计者对提示优化过程的需求：高效生成改进建议、自动化评估生成输出、优化主观评估标准。
  • 大语言模型作为自动评估工具的潜力已初步被验证，如模拟人类注释员的工作，但仍需进一步探索如何灵活应用于任务特定的标准。

解决方案

• 作者提出了哪些方法或解决方案？

  • 开发了一个交互式系统EvalLM，使用LLMs支持用户定义评估标准，并以自动化方式评估提示生成的输出。EvalLM提供以下功能：
    • 自动评估生成输出，快速比较多个提示在指用户标准下的表现。
    • 提供评估结果的详细解释以及相关的支持性证据片段。
    • 提供一个"标准检视工具"，用于检查用户定义标准的清晰度、粒度和适用性，并提出优化建议。
    • 提供历史记录和大规模实验功能，使设计者能够跟踪提示改动的效果。

• 该解决方案的创新之处是什么？

  • 将LLMs应用于一个协作优化过程，不仅评估生成输出，还评审用户定义的标准，帮助设计者动态调整标准和提示。
  • 提供一种基于解释的评估机制，使用户能验证自动化评估是否符合预期，并提高生成任务的透明度。

• 实施步骤是什么？使用了哪些关键技术？

  • EvalLM需要用户设置任务说明、提示模板和输入数据。
  • 系统通过嵌入LLMs作为评估助手(automatic evaluator)和标准审查工具(criteria reviewer)，自动完成输出质量评价和标准改进建议生成。
  • 提供交互式界面以支持用户定义标准并查看评估结果。
  • 在实验阶段，EvalLM允许通过大规模样本测试输出，并进行评估可靠性测试，如测试一致性和评价者间一致性。

研究成果

• 取得了哪些具体成果？

  • 通过与手动评估对比的用户研究表明，EvalLM帮助用户更高效地定义评估标准并评估生成输出：
    • 使用EvalLM时，参与者能够在较少提示改动的情况下达到满意结果。
    • 与手动评估相比，EvalLM支持用户定义更多元的评估标准，并能对更多输出样本进行研究。
    • 提供清晰的解释和建议，使用户更易找到提示需要改进的方向。

• 与现有解决方案相比，它有哪些优势？

  • 针对生成任务的主观评估难题，EvalLM将评估的工作负担分担给LLMs，使设计者集中精力于提示改进的策略。
  • 系统集合了交互式评估、标准动态优化和输出解释功能，以支持更完整的提示优化流程。
  • 提供实验功能以测试标准与评估结果的可靠性，从而保证设计者在标准定义上的信心。

• 实验或评估结果是什么？

  • 用户研究(N=12)显示EvalLM能显著降低设计者的认知负担与时间成本，同时提升设计者对标准定义的满意度。
  • 技术评估表明，在任务特定标准下，EvalLM的自动化评估与人类评价的结果一致性达到较高水平(Fleiss' Kappa=0.485)。

• 局限性与未来方向

  • 局限性：
    • LLM评估的结果依赖于定义的标准，并未完全模拟真实用户的多样化视角，可能导致评价偏差或过于主观。
    • 当前系统未实现对提示的自动改进功能，设计者仍需手动调整提示。
  • 未来方向：
    • 集成基于AI反馈的强化学习机制，使系统可以直接提出具体的提示修改建议。
    • 扩展到模型优化领域，使用EvalLM评估不同LLM模型并帮助开发更适配应用上下文的语言模型。
    • 支持用户定义更复杂的评估标准，探索生成任务标准的层级化组织方式以更好地评估模型的多维性能。