ScamPilot：利用大语言模型模拟对话以防范在线诈骗

文献标题

ScamPilot: Simulating Conversations with LLMs to Protect Against Online Scams

出版信息

• 主题领域: 利用对话式人工智能进行网络安全教育和诈骗防范。
• 关键词: 网络诈骗、网络安全、大型语言模型、免疫理论、体验式学习、诈骗识别、对话用户界面、诈骗抗性训练、诈骗教育、诈骗模拟。

背景与问题

• 问题/挑战: 自动化欺诈检测系统和意识提升活动在适应不断演变的诈骗策略和有效吸引用户方面存在局限性。现有的培训系统通常缺乏真实感、适应性和详细反馈，无法充分准备用户应对真实世界中的诈骗场景。
• 重要性: 网络诈骗每年造成巨大的经济和情感损失，金额高达数十亿美元。培训用户识别和抵御诈骗对于补充自动检测系统至关重要。
• 动机与相关研究: 之前的研究探索了静态诈骗模拟、游戏化系统和免疫理论，但这些方法往往缺乏吸引力、适应性和可操作的反馈。本文在这些基础上，利用大型语言模型（LLMs）创建动态、真实的诈骗模拟。

解决方案

• 提出的方法: ScamPilot 是一个由 LLM 驱动的对话用户界面，通过诈骗者代理、目标代理和人类用户（作为顾问）之间的动态交互模拟真实的诈骗场景。
• 创新点:
  1. 引入了诈骗者代理、目标代理和人类用户之间的三方对话互动。
  2. 将免疫理论与体验式学习原则（通过实践学习和通过教学学习）相结合。
  3. 提供动态的阶段性反馈，并嵌入多项选择题测验以强化诈骗识别和应对策略。
• 流程和关键技术:
  • 用户观察诈骗者与目标代理之间的模拟对话。
  • 用户向目标代理提供实时建议，并回答关于诈骗策略的多项选择题。
  • 每个阶段结束后提供反馈，总结对话并提供可操作的见解。
  • 系统通过提示工程确保 LLM 代理的行为真实且一致。

研究结果

• 具体发现:
  • 测验+建议界面使诈骗识别率提高了 8%，应对效率提高了 9%，自我效能感提高了 19%，相较于对照组。
  • 未观察到对合法消息识别能力的显著下降。
• 相较基线的优势:
  • 动态的基于建议的界面在诈骗识别和情境判断任务中优于静态的仅测验界面和对照界面。
  • 测验+建议条件在提高诈骗识别的同时，对合法消息识别的负面影响最小。
• 实验/评估:
  • 在四种条件（对照组、测验组、建议组、测验+建议组）下，进行了包含 150 名参与者的组间研究。
  • 评估指标包括诈骗/合法消息辨别、情境判断、自我效能感和应对效率。
  • 采用混合方法分析，结合定量性能测量和定性建议编码。
• 局限性与未来工作:
  • 仅限于冒充类诈骗；对其他诈骗类型的适用性尚需验证。
  • 未测试真实世界中的有效性和长期知识保留。
  • 使用 LLM 生成诈骗模拟可能存在伦理问题。
  • 未来工作包括纵向研究、面向多样化人群的测试，以及扩展到其他诈骗类型。

总结

ScamPilot 利用大型语言模型模拟真实的诈骗对话，使用户通过交互式建议和测验练习诈骗识别和抗性。测验+建议界面效果最佳，提升了诈骗识别率（+8%）、应对效率（+9%）和自我效能感（+19%），同时未显著增加对合法消息的误判率。本研究展示了将免疫理论与体验式学习相结合在网络安全教育中的潜力。未来工作将探索更广泛的应用、长期知识保留以及伦理考量。