PCGEF：用于诊断以人为中心的角色条件生成中主观一致性的框架

文献标题

PCGEF: A Framework for Diagnosing Subjective Alignment in Human-Centered Persona-Conditioned Generation

发表信息

• 主题领域: 人物设定条件下语言生成的主观一致性评估。
• 关键词: 人物设定生成、主观一致性、大型语言模型、情感一致性、上下文连贯性、风格表现力、语义基础、人类中心人工智能。

背景与问题

• 问题/挑战: 现有的人物设定条件下生成的评估方法主要关注正确性或忠实性，但未能系统地诊断跨行为维度的主观一致性。此外，这些方法缺乏一个统一的框架来区分人物设定和连续性控制对表达性语言生成的影响。
• 重要性: 语言生成中的主观一致性影响着信任、决策和用户满意度，在聊天机器人、创意工具和感官评估等应用中尤为重要。一个系统的诊断方法对于提高人类中心人工智能系统的可解释性和一致性至关重要。
• 动机与相关工作: 之前的研究探讨了使用大型语言模型进行人物设定条件下的生成和评估，但主要关注粗粒度的指标，如角色忠实度、偏好契合度或情感推理。这些方法未能解决人物设定框架和连续性机制如何交互以塑造表达行为的问题。本文通过引入一个多维诊断框架来填补这一空白。

解决方案

• 提出的方法: 人物设定生成评估框架（PCGEF），一个模块化、领域无关的框架，用于诊断跨五个行为维度的主观一致性：情感一致性、偏好一致性、风格表现力、语义基础和上下文连贯性。
• 创新点:
  1. 一个多维诊断框架，分离人物设定和连续性控制以实现可解释性评估。
  2. 在受控生成环境中实证分析人物设定和连续性控制如何影响主观一致性。
  3. 在红酒描述领域的案例研究，展示框架的适用性。
• 流程与关键技术:
  • 阶段1: 设计一个受控生成环境，使用标准化的提示模板，包括人物设定、连续性和指令模块。
  • 阶段2: 监控单元级输出的格式有效性、约束遵守性和鲁棒性。
  • 阶段3: 使用可解释的指标诊断五个维度的主观一致性（例如，情感MAE、喜好MAE、Distinct-2、感知一致性、运行间稳定性）。
  • 在一个2×2因子设计中实例化，改变人物设定和连续性控制，并使用四个中型开放权重的大型语言模型进行实证评估。

结果

• 具体发现:
  • 人物设定控制改善了情感一致性（情感MAE：−0.337）和偏好一致性（喜好MAE：−0.090，p = 0.020）。
  • 连续性控制增强了上下文连贯性（运行间稳定性：+0.019，p < 0.001），并进一步降低了情感MAE（−0.644，p = 0.006）。
  • 语义基础对两种控制的响应较弱。
• 相较基线的优势:
  • 人物设定控制更有效地塑造了情感基调、偏好和风格特征。
  • 连续性控制强化了多轮连贯性，减少了人物设定输出中的随机漂移。
• 实验/评估:
  • 在红酒描述任务中进行，涉及34名人类参与者和四个大型语言模型（DeepSeek 7B、LLaMA3 8B、Nous-Hermes-2 10.7B、Yi-9B）。
  • 评估指标包括情感MAE、喜好MAE、Distinct-2、感知一致性和运行间稳定性。
• 局限性与未来工作:
  • 较弱的语义基础表明需要更丰富的领域知识或多模态输入。
  • 研究基于中型模型和单一领域，尚需测试在其他领域和更大规模模型上的迁移能力。
  • 未来工作包括将PCGEF扩展到多语言、多模态和信念一致性评估。

总结

人物设定生成评估框架（PCGEF）提供了一个结构化的、多维度的方法，用于诊断人物设定条件下语言生成的主观一致性。在红酒描述任务中的实证结果表明，人物设定控制增强了情感和偏好一致性，而连续性控制稳定了多轮连贯性。然而，语义基础仍然较弱，表明需要领域特定的增强。PCGEF是模块化的，可迁移到其他感官、创意和交互领域，为设计人类中心生成系统提供了可操作的见解。