DxHF：通过交互式分解为LLM对齐提供高质量人类反馈

DOI

人类偏好广泛用于通过强化学习人类反馈（RLLM）等方法对齐大型语言模型。然而，当前用户界面要求注释者比较文本段落，当文本较长或不熟悉时这在认知上具有挑战性。本论文通过研究分解原则作为提高LLM对齐人类反馈质量的方法做出了贡献。这一方法将文本分解为单个论点，而非直接比较两个长文本响应。基于该原则，我们构建了新型用户界面DxHF。它通过显示分解的论点、增强比较过程，视觉编码论点与对话的相关性，并链接相似论点。这使用户能够浏览关键信息并识别差异，以获得更好更快的判断。我们的技术评估显示，分解通常会提高关于真值的反馈准确性，特别是对于不确定的用户。160名参与者的众包研究表明，使用DxHF可将反馈准确性平均提高5%，尽管平均反馈时间增加了18秒。值得注意的是，在用户确定性较低的情况下，准确性显著提高。研究发现强调了人机交互作为改善人类-AI对齐有效方法的潜力。