负责任的提示推荐：培养提示时刻的负责任的AI实践

研究背景与问题

• 作者发现了哪些问题或挑战？

  • 随着生成性人工智能（GenAI）和大型语言模型（LLMs）的广泛应用，人们面临着在"提示工程（Prompt Engineering）"过程中缺乏协调生成式人工智能输出和负责任人工智能（RAI）实践的指导问题。
  • 提示可能会导致伤害，例如展示社会偏见、错误信息、偏离设计目的等。这些风险需要与提示工程结合，以在交互过程中引入负责任的人工智能原则。
  • 当前没有建立在负责任实践基础上的方法来系统地设计提示，同时没有足够的工具来支持实时的提示调整。

• 为什么这个问题很重要？

  • 提示工程是与生成性人工智能交互的重要环节，它的有效性直接影响生成式人工智能输出的质量和安全性。
  • 如果提示工程未纳入负责任的人工智能原则，生成结果可能会产生社会伤害或误导性信息，导致技术滥用或公众信心下降。
  • 企业和行业需要更直接、更有效的方法来确保生成式人工智能能够支持社会价值及符合伦理规范。

• 研究动机与相关工作

  • 研究的主要动机在于将负责任人工智能的理念注入到提示设计过程中，帮助提示工程师和用户在交互时更好地避免潜在伤害，同时促进更加多元化的价值输入。
  • 大量相关文献探讨了生成性人工智能的启发式提示设计、多样化生成方法、和提示攻击检测等主题，但鲜少涉及同步建议内容以实现负责任人工智能的工具。

解决方案

• 作者提出了哪些方法或解决方案？

  • 开发了一种开放源代码的推荐系统用于支持提示生成实时推荐。该系统能够在用户输入提示时，添加促进社会价值的“正向句子”或建议删除“潜在有害句子”。
  • 方法包括半自动的提示分析与推荐机制，该机制结合了算法规则和人工精心策划的语料库。

• 该解决方案的创新之处是什么？

  • 系统实时引入负责任人工智能（RAI）的指导，而不仅仅是事后审查。
  • 提供即时句子推荐以加入社会价值，并检测并删除潜在有害内容。
  • 提供句子嵌入和相似度分析，可扩展到多语言和不同场景，并支持动态调整。
  • 通过强调“增删内容”的结合，支持用户在真正生成内容前完成道德和价值验证。

• 实施步骤是什么？使用了哪些关键技术？

  1. 设计数据集：创建一个包含2000多个“正向句子”（与社会价值相关）和“负向句子”（提示中的有害语言）的JSON文件。
  2. 推荐算法：基于句子嵌入和相似度比较，从用户输入的提示中挖掘类似的句子并推荐相关值。
  3. 开放源代码API：开发一个REST API来提供接口，任何支持句子嵌入的轻量模型（如all-minilm-l6-v2）均可使用。
  4. 用户界面集成：提供简单易用的用户界面，其中包括“句子推荐”和提示内容与生成内容的对比视图。

研究成果

• 取得了哪些具体成果？

  • 实验发现，用户通过推荐系统可显著提升提示的负责任性，同时优化生成式AI内容。
  • 研究结果表明，推荐的句子能够嵌入社会价值，帮助用户避免负面情况。推荐算法在实时的提示优化场景中表现良好。
  • 用户反馈认为系统增加了生成式AI实时交互的透明度和可控性，并降低了生成有害内容的风险。

• 与现有解决方案相比，它有哪些优势？

  • 结合正向和负向内容推荐，从而既能促进生成性人工智能输出的价值，也能删除触发潜在伤害的输入。
  • 提供轻量级、快速响应的解决方案，不需要大规模模型微调，易于扩展和定制。
  • 接近即时的交互支持用户在提示工程中实时优化输入，而不是事后监测或干预。

• 实验或评估结果是什么？

  • 用户研究中，超过80%参与者认为推荐内容提高了生成性人工智能的输出质量。
  • 平均系统可用性评分（SUS）达到81.94，表明系统易用性和满足用户需求的能力较强。
  • 用户反映使用推荐的提示比起原始提示，生成结果更具针对性、清晰度和社会责任感。

• 局限性与未来方向

  • 局限性：当前研究样本规模较小，参与者主要来自IT行业，可能不完全反映不同领域和行业的需求。建议扩展到更多场景和用户群以验证普适性。
  • 若输入提示中包含模型未见过的新术语，基于句子相似度的推荐可能会变得不准确，未来需扩展模型训练或优化边界检测。
  • 未来方向：增加UI功能以更好地支持个性化需求，例如提供用户定义的提示模板和行业特定推荐；探索替代词建议机制以避免对潜在有害句子的直接删除。

总之，该研究提出了一种创新的实时提示推荐方法，为负责任的生成式人工智能提供了强有力的支持，解决了现有工具在实时性、社会价值嵌入和用户指导方面的不足。