RELIC：使用自我一致性调查大型语言模型的响应

文献标题

RELIC: Investigating Large Language Model Responses using Self-Consistency

文献信息

• 主题领域: 人机交互、自然语言处理（NLP）、大语言模型（LLM）输出验证
• 关键词: 自然语言生成, 人机交互, 幻觉检测, 自一致性, 可视化, 用户研究, 信息验证, 人工智能信任

研究背景与问题

1. 问题与挑战:

   • 大语言模型（LLMs）在生成流利文本的同时，常常混淆事实与虚构内容，这种现象被称为“幻觉”。
   • 这种生成的不准确内容通常以真实和令人信服的方式呈现，容易误导用户，带来法律和伦理问题。
   • 当前模型的信心度表示（如基于单词级别的概率）难以提供语义层面的可信度，特别是对于长文本生成的验证。

2. 研究重要性:

   • 预防用户被模型误导是人机交互领域的重要问题，尤其是随着大语言模型在写作助手、搜索引擎等任务中的广泛应用。
   • 设计能够帮助用户理解和验证生成内容的工具，对促进可信的人机协作至关重要。

3. 研究动机与相关工作:

   • 当前的方法包括基于检索和一致性的方法，但大多集中于自动验证，而不是赋能最终用户。
   • 自一致性（self-consistency）是一个被证明有效的概念，用于评估多个模型输出间的一致性，表明其潜在的可靠性。
   • 本研究的独特动机是探索结合自一致性与交互设计的用户导向框架，通过语义层面的分析帮助用户验证生成文本。

解决方案

1. 提出的方法:

   • 提出一个名为 RELIC（Reliable Evaluation of Language Information Consistency） 的交互系统，用于探索和验证大语言模型输出的语义一致性。
   • 设计了一种基于自一致性的新算法，通过分析同一提示生成的多样化样本，评估语义一致性和可信度。

2. 创新点:

   • 将自一致性从单一得分扩展到复杂长文本，通过提取语义原子声明（atomic claims）实现细粒度的可信度解释。
   • 集成自然语言推理（NLI）、问题生成和答案聚类，引入交互式操作（如标注、编辑和刷选）以支持用户验证生成内容。

3. 实施步骤:

   • 算法设计:
     1. 生成多个样本并提取语义原子声明。
     2. 使用自然语言推理（NLI）模型评估生成的原子声明间的逻辑蕴涵关系。
     3. 将声明转化为自然语言问题，并对其他样本进行答案检索。
     4. 通过语义聚类汇总备选答案并生成支持、反驳和中立的相似选项。
   • 交互式系统设计:
     • 关键字标注（Keyword Annotation）：用可视化条形图展示不同选项间的一致性分布。
     • 刷选提问（Brushing for Questioning）：用户划选文本生成问题，用于收集备选证据。
     • 文字编辑（Editing the Generation）：用户可编辑文本并实时查看一致性评估变化。

研究成果

1. 具体成果:

   • 开发了 RELIC 系统，支持用户验证和修正大语言模型的生成内容。
   • 用户可以通过关系视图（Claims View）和证据视图（Evidence View）轻松交互，探索生成内容的备选答案和证据支持。

2. 与现有方案的比较:

   • RELIC 系统相比传统模型界面（如 ChatGPT UI），显著提升了用户访问多样化答案和验证生成内容的能力。
   • 用户可通过结构化方式深入交互，而不仅仅是单一对话式的 QA。

3. 实验与评估:

   • 用户研究:
     • 10 位参与者对 RELIC 的功能进行验证，通过任务操作和后续问卷测试其可用性。
     • 用户普遍认为 RELIC 易于使用（5.7/7）、有助于验证（6.4/7）和改进生成文本（5.5/7）。
   • 算法定量分析:
     • 实验显示自一致性评分对不准确生成的识别具有显著作用，对于 InstructGPT 模型的 AUROC 达到 0.856。
     • 增加样本数量可以提高一致性评估性能，但边际收益递减。

4. 局限性与未来方向:

   • 局限性:
     • 一致性并不总意味着正确性，有些错误依然可能具有高一致性。
     • 系统对外部可信资源的结合有限，额外的错误校正需求仍待解决。
   • 未来方向:
     • 通过扩展算法从外部知识库或其他模型生成中获取证据，加强系统可靠性。
     • 开发智能化文本编辑功能，进一步自动优化生成内容。

总结

本研究提出了 RELIC 系统，结合自一致性算法与用户交互设计，为验证大语言模型输出的真实性提供了新方法。通过用户研究和算法评估验证了系统的可用性和实用性，未来可以在知识检索、预测任务和创意生成等多领域扩展适用性。