LLM能否推荐更负责任的提示词？

DOI

人机交互从业者数十年来一直在提出用户界面设计的最佳实践。然而，生成式人工智能（GenAI）带来了额外的设计考量，目前缺乏关于可供性、输入和输出的充分用户指导。在此背景下，我们开发了一个推荐系统来在人们提示GenAI系统时促进负责任AI（RAI）实践，通过基于社会价值观推荐添加句子并移除有害句子。我们详细介绍了一个轻量级推荐系统，设计用于提示时使用，并将其推荐与三个基础大型语言模型（LLM）和两个针对该任务微调的LLM的推荐进行比较，即推荐包含基于社会价值观的句子并从给定提示中移除有害句子。结果表明，我们的方法在添加和移除句子以促进负责任提示方面具有最佳F1分数平衡，而微调模型获得了最佳添加F1分数，我们的方法获得了最佳有害句子移除F1分数。此外，微调模型通过将生成内容的长度比基础模型减少93%来提高响应的客观性。研究成果表明了现有LLM在创建更负责任提示的建议方面的局限性和偏见，以及开源技术如何在提示时填补这一空白。