通过提示注入保护众包调查免受 ChatGPT 干扰

ChatGPT 和其他大型语言模型 (LLM) 已被证明在众包任务中有用，可以有效地注释机器学习训练数据。然而，这也就意味着它们也可能被滥用，特别是用于自动回答调查问卷。LLM 可能会绕过质量保证措施，从而威胁依赖众包调查的方法论完整性。在本文中，我们提出了一种检测调查问卷中 LLM 生成回复的机制。该机制使用「提示注入」，即可以误导 LLM 给出可预测回复的指令。我们针对一系列问题场景、类型和位置评估了我们的技术，发现其可以可靠地检测 LLM 生成的回复，有效性超过 98%。我们还提供了一个开源软件，帮助调查设计者使用我们的技术检测 LLM 回复。我们的工作是确保调查方法论在面对 LLM 时保持严谨的一步。