谁控制对话？用户对生成式AI（LLM）系统提示的看法

文献标题

Who Controls the Conversation? User Perspectives on Generative AI (LLM) System Prompts

出版信息

• 主题领域: 面向用户的生成式人工智能系统提示设计与治理。
• 关键词: 生成式人工智能，系统提示，透明性，用户控制，大型语言模型，人工智能治理，价值敏感设计，人工智能对齐，人工智能伦理，用户偏好。

背景与问题

• 问题/挑战: 系统提示对人工智能行为有显著影响，但对用户而言仍然不透明，限制了透明性和问责性。目前的实践缺乏基于用户需求和偏好的实证基础。
• 重要性: 系统提示塑造了生成式人工智能系统每天数百万次的交互，嵌入了影响用户信任、安全性和自主性的价值观和约束。
• 动机与相关工作: 现有研究主要关注用户发出的提示，而忽视了开发者设置的系统提示的影响。尽管对透明性和问责性的呼声日益高涨，但对用户对系统提示的看法缺乏系统性理解。

解决方案

• 提出的方法: 通过系统提示分类法的开发和用户调查相结合的系统性实证研究，了解用户对系统提示的感知、偏好以及对透明性和控制的需求。
• 创新性:
  1. 基于手动和计算分析开发了一个涵盖七个主题的系统提示分类法。
  2. 进行了一项调查（N = 109），收集用户对系统提示设计、透明性和控制机制的看法。
  3. 确定了以用户为中心的设计价值观，并提出了与用户期望对齐的系统提示设计的可操作见解。
• 过程和关键技术:
  • 从官方来源和社区资源中收集了1,309个系统提示数据集。
  • 通过手动主题编码和使用LLooM的计算概念归纳开发分类法。
  • 设计了一个包含七个阶段的调查，以评估用户的意识、设计偏好、透明性需求和控制机制。
  • 分析调查结果，确定系统提示设计和治理的关键发现和意义。

结果

• 具体发现:
  • 确定了七个分类主题：人工智能角色与身份、能力与领域特性、沟通风格与结构、合规性、安全与保障、部署与操作、内在价值与原则、响应质量。
  • 89%的参与者希望获得透明性，其中23%偏好摘要，27%偏好完整的系统提示。
  • 79%的参与者希望拥有控制机制，更倾向于结构化选项（如设置偏好，20%）而非不受限制的编辑（8%）。
  • 隐私和无偏见被评为最重要的设计价值。
• 相较基线的优势:
  • 提供了用户对透明性和控制偏好的实证证据，填补了现有研究的空白。
  • 引入了适用于各种系统提示类型的全面分类法。
• 实验/评估:
  • 混合方法：手动编码和LLooM计算分析用于分类法开发；109名参与者的调查用于评估用户看法。
  • 指标：舒适度评分、设计价值的重要性、透明性和控制偏好。
• 局限性与未来工作:
  • 对专有系统提示的访问有限；研究基于公开和社区来源的数据。
  • 以英语为主的参与者样本可能限制了对非西方背景的普适性。
  • 未来研究应探索行为研究、跨文化视角以及领域特定提示的更细粒度差异。

总结

本研究通过分类法开发和用户调查分析，探讨了生成式人工智能系统提示的设计与治理。研究确定了系统提示的七个核心主题，并揭示了用户对透明性和控制机制的强烈偏好，强调了隐私和无偏见等价值观的重要性。研究结果突出了系统提示设计与治理中采用参与式方法的必要性，对人工智能系统的透明性、问责性和用户自主性具有重要意义。未来研究应关注技术挑战、跨文化视角以及系统提示实施中的不断演变的实践。