赋能校准的(不)信任在对话代理中：一项关于限制免责声明与权威风格的说服力的用户研究

文献标题

Empowering Calibrated (Dis-)Trust in Conversational Agents: A User Study on the Persuasive Power of Limitation Disclaimers vs. Authoritative Style

文献信息

• 主题领域: 人机交互中的信任与说服技术
• 关键词: 大语言模型、会话代理、聊天机器人、ChatGPT、自动化信任、精细化可能性模型、沟通风格

研究背景与问题

• 问题与挑战

  • 基于大语言模型（LLMs）的会话代理尽管在许多领域推动了进步，但容易生成错误信息。
  • Lay用户在与这些系统交互时可能无法识别错误信息，从而导致过度信任和进一步传播错误信息。
  • 当前的主要问题在于如何帮助用户正确判断会话代理提供信息的可靠性，避免过度信任。

• 重要性

  • 这不仅关乎有效的系统设计，还关系到用户安全和伦理问题。
  • 了解用户如何形成对会话代理的信任，以及这类信任如何影响用户态度和行为，有助于更安全、更有效的人工智能系统设计。

• 研究动机与相关工作

  • 之前研究关注了用户对信息错误的感知，但鲜有研究探讨如何通过修改系统设计和风格来调整用户的信任。
  • 精细化可能性模型（Elaboration Likelihood Model, ELM）被认为是分析信任和态度形成的重要理论框架。

解决方案

• 方法与解决方案

  • 提出一种实验设计，通过在线用户研究测试两个关键因素对用户信任的影响：
    1. 事前信息：关于代理潜在错误信息的警告或描述其正面功能的提示。
    2. 沟通风格：代理在交互中的表达是否具有权威性。

• 创新之处

  • 将用户信任视为态度变化的结果，结合ELM理论，明确沟通风格和事前信息作为信任线索的作用。
  • 同时将会话代理定义为双重角色（信任对象与信息发送者）来分析其对说服力与态度的影响。

• 实施步骤与技术

  • 进行在线研究，模拟两个会话：一个用来表现不同的沟通风格，另一个提供说服信息。
  • 设置2×2的实验来操控事前信息（正面功能 vs 限制）和沟通风格（高权威 vs 低权威）。
  • 收集用户信任、态度变化、以及相关调节因素（如认知需求和对自动化技术的自我效能）的量化数据。

研究成果

• 具体成果

  • 沟通风格（高权威 vs 低权威）对用户信任及态度形成影响显著，而警告信息未能有效改变用户信任。
  • 高权威的沟通风格导致更高的用户信任，而这种信任又能够增强会话代理说服信息的效果。
  • 用户对机器人在公共空间的态度与其对会话代理的信任之间存在显著关系。

• 优势

  • 提供了对当前会话代理设计的批判性观点：文本警告有限，沟通风格的重要性更高。
  • 为如何设计更人性化的会话代理提供了具体建议，例如通过沟通风格动态调整用户信任，而非仅依赖固定警告。

• 实验与评估结果

  • 实验显示，在没有积极加工事前警告信息的条件下，用户更容易被权威风格说服。
  • 高权威风格能够增强用户态度的一致性，尤其在用户认知需求较低时。

• 局限性与未来方向

  • 实验中未能直接模拟代理生成错误信息的场景，这可能限制了对实际用户行为的洞察。
  • 未来研究需要探讨用户与真实代理互动时的探索行为对信任形成的影响。
  • 提倡进一步测试应用设计上的实时不确定性提示，以及研究以个性化风格动态调整信任的有效性。

总结

这项研究揭示了当前基于LLM的会话代理设计中的信任问题，并表明，通过更具柔性或非权威的沟通风格，可以更有效地校准用户信任。研究结果为开发者、设计师以及相关领域的研究者提供了重要参考，助力更安全、有效、以及伦理合规的人工智能系统设计。