AI与我的价值观：用户对LLM从休闲对话中提取、体现和解释人类价值观能力的看法

文献标题

AI and My Values: User Perceptions of LLMs’ Ability to Extract, Embody, and Explain Human Values from Casual Conversations

出版信息

• 主题领域: 人机交互与对话式人工智能系统中的价值对齐。
• 关键词: 价值对齐，对话式人工智能，大型语言模型（LLMs），人类价值观，用户感知，可解释性，体现，隐私，伦理，自我反思。

背景与问题

• 问题/挑战: 现有的人工智能系统缺乏与个体人类价值观对齐的稳健机制，其推断、体现和解释这些价值观的能力尚未得到充分探索。这一差距带来了误表、隐私侵犯和伦理问题的风险。
• 重要性: 随着人工智能系统日益介入个人、职业和社会互动，理解并与人类价值观对齐变得至关重要。不对齐的系统可能损害信任、隐私和用户福祉。
• 动机与相关工作: 先前的研究多集中于共享的道德原则或基于静态数据集的价值对齐，但尚未解决个体层面、动态价值建模的问题。本文基于施瓦茨价值理论框架，探讨对话式人工智能系统如何通过持续互动推断和表达个人价值观。

解决方案

• 提出的方法: 引入价值对齐感知工具包（VAPT），一种基于对话数据评估人工智能系统提取、体现和解释人类价值观能力的方法论。
• 创新性:
  1. 开发了VAPT，一种可重复使用的基于探针的方法，用于研究感知的价值对齐。
  2. 通过为期一个月的聊天机器人互动，实证研究用户对人工智能价值对齐能力的感知。
  3. 提供关于“武器化同理心”风险的洞察，以及对价值对齐对话代理（VACA）的设计启示。
  4. 引入三阶段评估框架：提取（主题-上下文图）、体现（人格化响应）和解释（价值图比较）。
• 程序与关键技术:
  1. 数据收集: 参与者与聊天机器人“Day”进行为期一个月的随意对话，生成丰富的互动数据。
  2. 基线建立: 使用施瓦茨57项PVQ-RR问卷调查建立参与者的自我报告价值观基线。
  3. 评估阶段:
     • 阶段1: 通过主题-上下文图探索提取的价值观。
     • 阶段2: 人格化体现实验，评估人工智能模拟用户响应的能力。
     • 阶段3: 价值图比较，评估人工智能推断的价值观与自我报告价值观之间的对齐程度。

结果

• 具体发现:
  • 人工智能推断的价值观与自我报告的价值观中度对齐（63.6%在±1个李克特点范围内）。
  • 参与者认为基于聊天的人格化比基于问卷或随机基线更对齐（77%），尤其是在个性化问题上。
  • 65%的参与者认为人工智能可以理解人类价值观，但仅35%认为人工智能可以拥有价值观。
• 相较基线的优势:
  • 基于聊天的人格化更好地捕捉了个体的声音和具体的生活经验，相较于基于问卷或随机的人格化。
  • 人工智能的解释帮助参与者审视并有时修正其自我认知。
• 实验/评估:
  • 包括来自不同文化和职业背景的20名参与者的混合方法研究。
  • 参与者进行了8次以上的聊天会话和2小时的半结构化访谈。
  • 评估指标包括对齐评分、李克特量表评分以及对人工智能生成的成果的定性反馈。
• 局限性与未来工作:
  • 样本规模较小，参与者年轻且技术熟练，限制了研究的普适性。
  • 人工智能输出中自主价值观过多，而传统/权力价值观不足。
  • 未来工作应探索年长、技术不熟练的人群，并优化模型以适应文化和语言的细微差别。

总结

本研究引入了VAPT，一种通过对话数据评估人工智能系统提取、体现和解释人类价值观能力的工具包。通过为期一个月的聊天机器人互动，研究发现人工智能推断的价值观与自我报告的价值观中度对齐，基于聊天的人格化在捕捉个体声音和细微差别方面优于基于问卷的基线。参与者认可人工智能揭示潜在模式的能力，但对隐私和“武器化同理心”的风险表示担忧。研究结果强调了设计价值对齐对话代理的必要性，这些代理应优先考虑用户同意、自我反思和透明性，以减轻自动化偏见并维护人类自主性。