将大型语言模型呈现为伙伴会影响人们归因于它们的心智能力

文献标题

Presenting Large Language Models as Companions Affects What Mental Capacities People Attribute to Them

出版信息

• 主题领域: 人机交互与公众对人工智能系统的认知。
• 关键词: 大型语言模型, 心智能力, 拟人化, 人工智能信息传递, 公众认知, 实验研究, 依赖行为, 信息检索, 认知能力, 情感能力。

背景与问题

• 问题/挑战: 目前对关于人工智能系统（特别是大型语言模型，LLMs）的公众信息传递如何影响人们对其心智能力的信念及使用行为的理解有限。
• 重要性: 随着LLMs逐渐融入社会，理解这些影响至关重要，因为它们会塑造人们在各个领域与这些系统的交互方式及依赖程度。
• 动机与相关研究: 先前的研究表明，拟人化设计和信息传递会影响人们对人工智能系统的认知，但大多数研究集中于假设性或定制化系统。本论文通过探讨关于广泛可用LLMs的真实信息传递的影响，填补了这一研究空白。

解决方案

• 提出的方法: 通过实验研究，探讨将LLMs呈现为机器、工具或伙伴对人们信念及依赖行为的影响。
• 创新点:
  1. 证明将LLMs呈现为伙伴会增加对其认知和情感能力的归因。
  2. 显示将LLMs呈现为机器会减少对其不一致响应的依赖。
  3. 提供证据表明信息传递的影响在时间上具有持续性，并受到任务熟悉度的调节。
  4. 探讨信息传递对信息检索任务中依赖行为的细微影响。
• 程序与关键技术:
  • 研究1：参与者（N = 470）观看将LLMs呈现为机器、工具、伙伴或未观看视频的情景，随后完成一项调查，评估对心智能力的归因及其他信念。
  • 研究2：九个月后，参与者（N = 604）完成使用预生成LLM响应的事实问答任务，随后进行一项调查，测量依赖行为及心智能力归因。
  • 统计分析包括线性混合效应回归和探索性因子分析。

结果

• 具体发现:
  • 接触“伙伴”视频的参与者相比其他组别，对LLMs归因更高的认知能力（5.00 vs. 4.47）和情感能力（2.15 vs. 1.62）。
  • 观看“机器”视频的参与者对不一致的LLM响应依赖减少（57.05% 一致性 vs. 62.33% 总体）。
  • 信息传递对心智能力归因的影响在时间上具有持续性，但受到任务熟悉度的调节，在完成事实任务后减少了认知归因。
• 相较基线的优势:
  • 伙伴信息传递增加了超出基线信念的心智能力归因。
  • 机器信息传递增强了对不可靠输出的怀疑。
• 实验/评估:
  • 研究1：调查测量了40种心智能力归因及五种额外信念（如信任、人类化程度）。
  • 研究2：事实问答任务测试了对LLM响应（正确性和一致性不同）的依赖。
  • 指标包括对LLM答案的一致性、信心、后续问题及花费时间。
• 局限性与未来工作:
  • 由于信息传递和任务设计的控制性，生态效度有限。
  • 研究范围局限于依赖行为；未来工作应探索长期交互及多样化任务。
  • 需要纵向研究以理解重复或冲突信息传递的累积效应。

总结

本论文探讨了将大型语言模型（LLMs）呈现为机器、工具或伙伴如何影响公众对其心智能力的信念及依赖行为。实验结果表明，伙伴信息传递增加了对认知和情感能力的归因，而机器信息传递减少了对不一致LLM响应的依赖。这些影响在时间上得以复制，并受到任务熟悉度的调节。研究结果强调了公众信息传递在塑造对人工智能系统的认知及交互中的重要性，表明拟人化呈现可能提高期望，而机械化呈现可能增强怀疑。未来研究应探索真实世界中的信息传递动态及多样化情境下的依赖行为。