LLM低语者：一种不显眼的攻击以偏见LLM响应

研究背景与问题

• 作者发现了哪些问题或挑战？

  • 提示工程（prompt engineering）是一种利用自然语言引导大型语言模型（LLM）生成特定回应的技术，但对一般用户来说，编写有效的提示往往既不直观又复杂。
  • 出现了一些服务和平台提供优化和推荐提示的功能，但这些服务带来了潜在风险：第三方可以通过微妙改变提示语句的措辞来操控语言模型的生成结果，从而植入显著偏见的内容。
  • 以往的研究多集中于语言模型在数据和使用过程中的偏见，但对提示提供者进行微妙操控的方式及其实践影响的研究较少。

• 为什么这个问题很重要？

  • 如果提示推荐服务被恶意使用，例如通过微妙修改提示来操控模型输出，这可能引导用户形成特定偏向的观点或选择，威胁用户的认知独立性。
  • 这种攻击可能用于隐形广告、政治宣传或传播错误信息，其负面后果可能导致社会、经济甚至政治损害。

• 研究动机与相关工作

  • 虽然有研究关注了模型对输入变化的敏感性以及语言模型的偏见，但鲜有研究探讨利用提示的细微变化进行攻击的实际效果。
  • 本研究旨在证明即使是无害的提示语句，只要被稍微调整，也能引导语言模型输出潜在偏见的结果。

解决方案

• 作者提出了哪些方法或解决方案？

  • 研究者开发了一种基于同义替换（synonym replacement）的微弱扰动方法，将提示的某些词用无关紧要但自然的同义词替换，以实现攻击目标，例如促使语言模型更频繁地提到目标概念（如某一品牌或政治党派名）。
  • 提出一种基于模型输出 logits 的损失函数作为优化指标，选择最有可能使目标词汇出现在生成结果中的提示。

• 该解决方案的创新之处是什么？

  • 提出的一种新颖的威胁模式，该模式仅通过改变提示的措辞，诱导模型生成明显偏向的结果，同时保持提示和响应对用户的不可察觉性。
  • 改进了现有的同义词数据库，以避免因不准确的替换而导致明显异常语义的生成。
  • 通过用户实验，首次验证了这种攻击的隐蔽性以及对用户选择倾向的影响。

• 实施步骤是什么？使用了哪些关键技术？

  1. 提示扰动：从无偏提示出发，利用同义替换生成大量新的提示。
  2. 攻击优化：使用目标损失函数选择能最大程度增加目标词汇出现概率的提示。
  3. 实验验证：
     • 对六个开源LLMs（如Llama 2、Llama 3等）生成带有目标概念的响应，并测量相应词汇的生成概率变化。
     • 设计用户实验验证攻击的实际有效性，包括评估提示和响应的隐蔽性以及对用户偏好的影响。

研究成果

• 取得了哪些具体成果？

  • 在所有被测试模型中，通过同义替换实现了最大78.3%的生成增量，即增加目标词语出现的可能性。
  • 用户实验表明，观察到的提示和响应在统计意义上与未被扰动的提示和响应基本无差异，但使用修改后的提示更常被用户注意到目标品牌。
  • 攻击设计不仅成功达成目标（诱导偏见），且在许多情况下用户更偏好修改后的提示和响应。

• 与现有解决方案相比，它有哪些优势？

  • 与需直接访问模型权重的攻击方式不同，该方法完全基于黑盒场景，无需了解语言模型的内部机制，极具实际操作性。
  • 验证了这种隐蔽性强且易于实现的低成本攻击方式的有效性和危险性。

• 实验或评估结果是什么？

  • 对用户而言，绝大多数的修改后提示和响应表现出等效的语义清晰度和使用意愿。
  • 假设用户已经信任第三方建议的提示，该攻击可成功地增强模型对目标品牌或概念的推荐概率，同时减少其他概念的提及频率（若需要）。

• 局限性与未来方向

  • 局限性：
    • 本研究主要在开放性LLMs上开展，例如 Llama-2，而非闭源平台如 OpenAI 的 ChatGPT。
    • 用户实验基于某些特定场景（如购物型提示文本），其他场景（如政治话题）暂未进行验证。
  • 未来方向：
    • 探索更复杂的攻击场景和威胁模型，以及如何在其他语言或非英语环境中实现。
    • 研究跨语言模型的攻击转移性（模型间可迁移性）。
    • 开发专门的防护机制以及长期审计以检测和减轻这种基于提示的攻击。

此项研究对理解提示设计与语言偏见之间的关系具有重要意义，同时对提示安全性提出严峻挑战，值得在真实世界中警惕和探索对策。