大型语言模型驱动的对抗性社交影响在在线信息传播中的风险与干预

文献标题

Large Language Model (LLM)-driven Adversarial Social Influences in Online Information Spread: Risks and Interventions

出版信息

• 主题领域: LLM驱动的对抗性社交机器人对错误信息传播的影响及潜在干预措施。
• 关键词: LLM，对抗性社交影响，错误信息，社交机器人，可信性提示，在线信息传播，认知干预，政治偏见，AI生成内容，错误信息检测。

背景与问题

• 问题/挑战: LLM驱动的社交机器人兴起，使得在线话语的操控变得可扩展且逼真，扭曲了真相并影响用户对错误信息的判断。现有干预措施往往忽视了对抗性社交影响在错误信息传播中的作用。
• 重要性: 对抗性社交影响会削弱用户辨别真伪信息的能力，增加错误信息的传播，并破坏对在线平台的信任，威胁公共话语和民主进程。
• 动机与相关工作: 先前研究表明，社交机器人在放大错误信息方面的作用以及事实核查和可信性提示等干预措施的有效性。然而，这些方法通常专注于内容层面的干预，未能解决LLM驱动机器人所制造的对抗性社交影响。本文通过研究此类影响的效果并测试可扩展的干预措施来填补这一空白。

解决方案

• 提出的方法: 本研究探讨了LLM驱动的对抗性社交影响对错误信息检测和传播的影响，并评估了两种轻量级干预措施：AI生成内容检测器和警告提示。
• 创新性:
  1. 实证展示LLM驱动的对抗性社交影响如何削弱用户检测错误信息和辨别真伪信息的能力。
  2. 评估可信性提示作为减轻对抗性社交影响的可扩展干预措施的效果。
  3. 分析上下文因素（如政治倾向、一致性及影响形式）对干预措施效果的调节作用。
  4. 探讨对抗性社交影响如何影响用户表达及更广泛的信息环境。
• 过程与关键技术:
  1. 进行了两项预注册的随机实验，分别有176名和155名参与者，使用包含30篇政治新闻（17篇真实，13篇虚假）的数据集。
  2. 实验1研究对抗性评论和回复对错误信息检测和传播的影响。
  3. 实验2测试了两种可信性提示（检测器和警告）在减轻这些影响方面的有效性。
  4. 分析参与者的真实性判断、分享意图和文本回应，以评估干预措施和对抗性影响的效果。

结果

• 具体发现:
  • 对抗性社交影响显著降低了参与者检测错误信息的准确性（例如，准确性：F(2, 1933) = 12.28, p < 0.001），并削弱了他们在分享真实与虚假内容时的辨别力。
  • 可信性提示提高了错误信息检测的准确性（例如，F(2, 1922) = 5.10, p = 0.006），但对分享意图的影响有限。
  • 对抗性评论对分享真实新闻的负面影响强于对抗性回复。
• 相较基线的优势:
  • 两种可信性提示（检测器和警告）在错误信息检测方面均显著优于无干预措施（例如，检测器：p = 0.027，警告：p = 0.013）。
  • 当参与者的政治倾向与新闻内容冲突时，对抗性影响更具破坏性。
• 实验/评估:
  • 实验1：测试对抗性评论和回复对真实性判断和分享意图的影响。
  • 实验2：评估可信性提示在对抗性社交影响下的减轻效果。
  • 指标：准确性、真实性辨别、分享意图、分享辨别。
• 局限性与未来工作:
  • 由于实验环境的控制性，研究结果在真实社交媒体环境中的普适性有限。
  • 研究聚焦于简短政治新闻的二元真实性判断；未来应研究混合真实性内容和多样化主题。
  • 未探讨更复杂的机器人行为或对抗性影响的长期效应。
  • 未来研究应探索自适应和上下文感知的干预措施、纵向效应以及对抗性社交影响的理论机制。

总结

本文研究了LLM驱动的对抗性社交影响对错误信息传播的风险，并评估了两种轻量级干预措施——AI生成内容检测器和警告提示。实验表明，对抗性社交影响削弱了用户检测错误信息和辨别真伪信息的能力，当用户的政治倾向与新闻内容冲突时，影响更为显著。可信性提示改善了错误信息检测，但对分享意图的影响有限。研究结果强调了开发可扩展、上下文感知干预措施以应对对抗性社交影响的必要性，并为在LLM时代减轻错误信息提供了未来研究方向。