ConstitutionMaker：通过将反馈转换为原则来交互式批评大型语言模型

大型语言模型（LLM）提示是用户创建和定制聊天机器人的一种有前景的新方法。然而，当前引导聊天机器人输出的方法（如提示工程和微调）不支持用户将他们对模型输出的自然反馈转换为提示或模型的更改。在这项工作中，我们探索如何通过帮助用户将反馈转换为一组原则（即宪法）来规范模型行为，从而实现用户通过反馈交互式精炼模型输出。通过形成性研究，我们发现（1）用户需要支持将反馈转换为聊天机器人的原则，（2）对用户所需的不同原则类型进行了分类。受这些发现的启发，我们开发了ConstitutionMaker，这是一个将用户反馈转换为原则的交互式工具，用于引导基于LLM的聊天机器人。使用ConstitutionMaker，用户可以提供正面或负面自然语言反馈，选择自动生成的反馈，或重写聊天机器人的回复；每种反馈模式都会自动生成一条原则，插入聊天机器人的提示中。在一项有14名参与者参与的用户研究中，我们将ConstitutionMaker与一个消融版本进行了比较，后者由用户自己编写原则。使用ConstitutionMaker时，参与者认为他们的原则能更好地引导聊天机器人，他们更容易将反馈转换为原则，并且能够更高效地编写原则， Mental demand更少。ConstitutionMaker帮助用户识别改进聊天机器人的方式，将他们对模型的直观反应形成反馈，并将其转换为具体清晰的原则。总体而言，这些发现为支持交互式批评LLM输出的未来工具提供了信息。