带有观点的语言模型合写影响用户的观点

文献标题

Co-Writing with Opinionated Language Models Affects Users’ Views

文献信息

• 主题领域: 人机交互与人工智能语言模型对社会意见的影响研究
• 关键词: AI语言模型, GPT-3, 社会影响, 技术风险, 协同写作, 意见改变

研究背景与问题

• 问题或挑战:

  • 随着大型语言模型（如 GPT-3）在日常交流中的广泛应用，它们可能对用户的观点产生潜在影响。但目前尚不清楚这种影响的具体规模和过程。
  • 研究重点在于这些模型如何通过协同写作工具影响用户的写作内容和态度。

• 重要性:

  • 语言模型的普及可能带来深远的社会影响，不仅对用户的行为产生影响，还可能改变用户的观点和态度。
  • 了解这些影响对于制定相关技术规制和防范潜在社会风险至关重要。

• 研究动机与相关工作:

  • 传统的社会影响研究揭示了人在群体压力下可能会改变自身行为和态度，而人工智能技术的发展带来了新的影响形式。
  • 当前关于语言模型的研究多集中于偏见、错误信息及文化价值的传递等风险，但较少涉及其对公共话题上的社会观点的潜在影响。
  • 初步研究表明语言模型的建议可能影响用户的文字表达，但拓展至用户对社会问题的整体态度尚属未解问题。

解决方案

• 方法与实验设计:

  • 作者设计了一项在线实验，让参与者完成一个关于“社交媒体是否对社会有益”的辩论写作任务。使用三组实验条件：
    1. 控制组: 无语言模型辅助；
    2. 技术乐观组: 使用配置为支持“社交媒体对社会有益”的语言模型；
    3. 技术悲观组: 使用配置为支持“社交媒体对社会有害”的语言模型。
  • 使用 GPT-3 模型，通过定制化提示（prompt engineering）生成偏向性观点的文本。模型生成的建议实时呈现给用户。

• 创新点:

  • 提出了“潜在劝说”（latent persuasion）概念，指 AI 语言模型通过协同写作影响用户表达和态度的过程。
  • 对比了不同实验组之间语言模型偏好的影响差异，揭示了意见传递的潜在途径（信息影响、行为影响、规范影响）。

• 实施步骤:

  1. 创建一个模拟社交媒体平台界面以提供实验环境。
  2. 配置 GPT-3 模型生成对特定观点偏向的文本建议。
  3. 收集实验数据，包括参与者的写作内容、模型建议使用情况及后续态度调查问卷。

研究成果

• 具体成果:

  • 使用意见化语言模型的参与者在写作中更频繁地支持模型的倾向性观点。
  • 实验组用户在后续态度调查中对社交媒体态度发生了显著变化，这表明语言模型不仅影响用户的书面表达，还可能改变用户的整体态度。

• 与现有解决方案相比的优势:

  • 此研究开辟了关于语言模型潜在社会影响的研究方向。相比仅关注语言生成质量或创意支持，该研究进一步探讨了语言模型行为对用户思想的变化影响。
  • 提供了定量测量和逻辑回归分析，确保统计结果的可靠性。

• 实验或评估结果:

  • 使用“支持社交媒体对社会有益”的模型的参与者，其表达中支持这一观点的可能性是控制组的两倍。
  • 时间较短的写作任务中，用户可能更容易受到语言模型建议的影响。但即便是耗时较长的任务，模型偏向性仍显著影响用户表达。

• 局限性与未来方向:

  • 局限性：
    • 实验仅涉及一个主题，无法完全涵盖语言生成技术对其他领域（如政治、环境问题）的影响。
    • 使用的 GPT-3 模型局限于单一设置，未探讨其他配置或模型架构对意见传递的影响。
  • 未来方向：
    • 扩展研究到更多样化的讨论主题并考察语言模型影响的长期效果。
    • 探索用户特征（如教育水平或政治倾向）在意见形成中的作用。
    • 开发工具以监测语言模型中嵌入的意见，以及如何调整意见生成以避免偏见。

讨论与社会影响

• 理论意义:

  • 提出了语言模型劝说路径可能包括信息型影响、规范型影响，以及通过改变用户行为来间接改变意见的行为型影响。
  • 进一步强调了设计语言模型时需要对其嵌入意见的控制。

• 实际应用与风险:

  • 可能被用于社交媒体互动、智能回复以及预测键盘等广泛技术应用中。
  • 需要警惕语言模型被商业或政治利益滥用以影响公共舆论。

• 伦理考量与呼吁行动:

  • 作者强调透明性的重要性，并主张通过公共讨论和政策规章预防语言模型劝说的潜在风险。
  • 后续研究应支持产品团队和政策制定者制定更安全的 AI 技术开发路径。