CoPrompter：面向用户的LM指令对齐评估以改进提示工程

DOI

确保大型语言模型（LLM）的响应与提示指令对齐对于应用开发至关重要。基于我们与行业从业者的形成性研究，当提示中有大量指令时，对齐需要大量人工参与和繁琐的试错过程。为了应对这些挑战，我们引入了 CoPrompter，一个基于评估多个 LLM 响应与标准来识别不对齐的框架。它提出了一种从提示要求直接派生评估标准问题的方法，以及一个将这些问题转换为用户可编辑清单的界面。我们与行业提示工程师的用户研究表明，CoPrompter 提高了识别和优化与提示要求指令对齐的能力，帮助他们了解模型未能遵循用户提示要求的频率和位置，并帮助他们澄清自己的要求，使他们在响应评估过程中获得更大的控制权。我们还展示了设计经验，以强调我们系统在简化提示工程过程中的潜力。