LLM中的个人验证效应：积极AI响应虚构预测的有效性、可靠性、个性化与有用性偏见

文献标题

Personal Validation Effect in LLMs: Positive AI Responses Bias Perceptions of Validity, Reliability, Personalization, and Usefulness of Fictitious Predictions

出版信息

• 主题领域: 人机交互中的心理偏差，重点研究大语言模型（LLM）生成预测中的个人验证效应。
• 关键词: 个人验证效应、积极偏差、人机交互、认知偏差、大语言模型（LLM）、AI生成预测、个性化、可靠性、用户感知、决策。

背景与问题

• 问题/挑战: 虽然个人验证效应在非人工智能环境中已被广泛研究，但其在塑造用户对AI生成预测的感知方面的作用仍未被充分探索。现有研究尚未系统性地考察AI预测的积极或消极框架如何影响感知的有效性、可靠性、个性化和实用性。
• 重要性: 随着AI系统在医疗、教育、金融等高风险领域的决策中日益发挥作用，理解这一现象至关重要。由积极性偏差导致的误判可能引发对AI的过度依赖、错误决策以及伦理问题。
• 动机与相关研究: 先前研究表明，人们在占星术和人格评估等领域容易受到积极性偏差和个人验证效应的影响。然而，这些偏差在AI交互中，特别是与LLM生成预测相关的表现形式研究较少。本文通过实证测试预测情感对用户感知的影响，并探索调节因素，弥补了这一研究空白。

解决方案

• 提出的方法: 本研究通过模拟投资游戏探讨AI生成预测中的个人验证效应。参与者接触到来自AI、占星术和基于人格的虚构积极或消极预测，并对这些预测的有效性、个性化、可靠性和实用性进行评分。
• 创新点:
  1. 证明个人验证效应在基于LLM的预测中表现显著，积极预测被认为更具优势。
  2. 探索个体差异（如认知风格、超自然信仰、轻信程度、对AI的态度、年龄）对该效应的调节作用。
  3. 提供设计指南以减轻人机交互中的认知偏差。
  4. 扩展了关于AI系统中的安慰剂效应和奉承行为的先前研究，展示了预测情感本身如何影响用户判断。
• 研究过程与关键技术:
  • 参与者（N=238）进行了10轮模拟投资游戏，并接收到来自三种来源（AI、占星术、人格）的虚构预测（积极或消极）。
  • 使用7点Likert量表对预测的有效性、个性化、可靠性和实用性进行评分。
  • 使用混合效应模型分析预测情感及调节因素（如认知风格、轻信程度、对AI的态度）的影响。

结果

• 具体发现:
  • 积极的AI生成预测在有效性上评分高出36%，个性化评分高出42%，可靠性评分高出27%，实用性评分高出22%。
  • 积极性偏差在所有预测来源（AI、占星术、人格）中表现一致。
• 相较基线的优势:
  • AI预测在感知有效性上评分高于基于占星术的预测，但与基于人格的预测相似。
  • 积极框架在感知个性化方面的提升幅度超过其他子量表。
• 实验/评估:
  • 参与者被随机分配到积极或消极预测组，预测以单轮非交互式形式呈现。
  • 认知风格、超自然信仰、轻信程度、对AI的态度和年龄等调节因素影响对预测情感的敏感性。
• 局限性与未来工作:
  • 单轮交互可能无法捕捉积极性偏差的长期影响。
  • 统一的预测格式限制了对多样化AI界面（如虚拟形象、语音系统）的适用性。
  • 未来研究应探索行为结果、跨文化差异以及认知偏差的缓解策略。

总结

本研究表明，个人验证效应和积极性偏差显著影响用户对AI生成预测的感知，积极预测被认为更有效、个性化、可靠且实用。认知风格、超自然信仰、轻信程度以及对AI的态度等个体差异调节了这些效应。研究结果强调了在高风险应用中设计伦理AI以减轻认知偏差并确保人机协作平衡的必要性。未来工作应探索长期交互、多样化AI界面及行为影响，以优化偏差缓解策略。