像素与文字中的说服力：代理对话中情感语言和视觉效果对决策的影响

研究背景与问题

• 作者发现了哪些问题或挑战？ 本研究关注的是人工智能支持的对话代理（Conversational Agents，简称CA）对用户决策的影响，特别是如何通过情感语言及视觉元素来影响用户的信任、情感共鸣及慈善捐赠行为。关键问题在于：尽管人工智能系统日益复杂，并表现出说服能力，它们与用户行为之间的复杂关系尚未被充分理解。

• 为什么这个问题很重要？ 随着大语言模型（LLM）驱动的CA在医疗、教育、金融等领域中的广泛应用，其影响用户行为的潜力愈发凸显。然而，这种技术也伴随着滥用风险，如散播虚假信息或大规模操控。这使得研究人工智能如何影响决策，以及如何以伦理方式设计这些系统显得尤为紧迫。

• 研究动机与相关工作 作者进一步探索语言表达（积极或消极）和视觉提示（正面或负面图像）的独立及联合效果对用户行为的影响。相关研究表明，人工智能系统在个性化互动中具有显著说服力，但其与用户长远行为改变之间的关系尚不明确。本研究将这些方向结合起来，试图揭示CA语言风格及情感图像如何影响慈善捐赠决策。

解决方案

• 作者提出了哪些方法或解决方案？ 作者设计了一个在线实验，让参与者与预设特定态度（积极或消极）的CA进行互动，同时进行视觉提示（正面图像、负面图像或无图像）的条件对照。

• 该解决方案的创新之处是什么？ 本研究同时评估语言与视觉两种元素的独立及联合影响，为理解人工智能驱动说服策略的复杂性提供了新的视角。此外，利用计算生成图像和大语言模型增强实验设计，这些技术的结合尚属前沿。

• 实施步骤是什么？使用了哪些关键技术？

  1. 设计实验条件：六个实验条件（CA态度 × 视觉提示）。
  2. 生成情感图像：通过AI工具，如Midjourney创建正面及负面的野生动物图像，进行情绪验证。
  3. 操作逻辑：参与者与CA互动，并接受捐赠相关任务。
  4. 数据收集与分析：使用线性回归与中介分析评估视觉提示和CA态度对信任、情感共鸣及捐赠行为的影响。

研究成果

• 取得了哪些具体成果？

  1. CA态度：正面态度显著提高了参与者对CA的信任、仁慈、能力感及情感亲近，但未显著提升捐赠金额。
  2. 视觉提示：图像的存在（无论正面或负面）反而抑制了捐赠金额，参与者在无图像情况下更愿意捐赠，且表现更多情景同理心。
  3. 综合效果：CA态度与视觉提示的联合效应对捐赠行为未产生显著影响。

• 与现有解决方案相比，它有哪些优势？ 本研究深入探索了视觉与语言两种因素对用户行为的互动影响，部分发现挑战了以往认为情感元素（特别是视觉提示）可显著增加捐赠行为的传统观念。

• 实验或评估结果是什么？ （1）视觉提示条件下捐赠金额显著低于无提示条件； （2）情感共鸣（如同理心和情绪相关性）显著提高捐赠意愿并对视觉提示起中介作用； （3）CA语言风格（乐观/悲观）影响参与者对系统的信任及感知能力，但较少直接改变行为。

• 局限性与未来方向 局限性：

  • 实验环境相对受控，真实场景下慈善捐赠可能还受更复杂的因素影响（如已有慈善声誉）。
  • 样本量虽满足统计要求，但小效应可能未被检测到。
  • 人工虚拟场景的生态效度可能有所限制，需更自然化的研究设计。

  未来方向：

  • 探讨真实环境下的CA说服效果，包括更长的互动时间及多回合系统设计。
  • 扩展至其他模态，比如语音或视频驱动的CA。
  • 研究视觉内容风格与文化适配性，例如在不同文化背景下的视觉及语言提示接受度差异。
  • 加入纵向研究，考察用户长期信任及行为模式的变化。

通过对语言和视觉提示这两种元素的深入探讨，作者揭示了人工智能在人类决策中潜在的复杂作用，同时提出了未来技术设计的伦理方向和改进建议。这些成果不仅深化了我们对人工智能与人类互动的理解，也推动了社会技术系统负责任设计的研究前沿。