"人工智能提升我们的表现,我毫不怀疑这一点也会如此":安慰剂效应对于人工智能的负面描述具有稳健性

可解释人工智能(XAI)AI 辅助决策与自动化系统AI 伦理、公平与问责软件工程师与开发者AI/ML 研究员与工程师

文献标题

"AI enhances our performance, I have no doubt this one will do the same": The Placebo Effect Is Robust to Negative Descriptions of AI

文献信息

  • 主题领域: 人机交互(HCI)及人工智能(AI)用户研究
  • 关键词: Placebo效应, 决策过程, 性能预期, 人工智能, 用户体验, HCI, 负面描述, 认知模型, 数据分析, 任务设计

研究背景与问题

  • 背景:

    • Placebo 效应——在医疗及人机交互(HCI)研究中表现为用户在感知虚假人工智能(AI)系统的效果时能够提升主观和客观的性能。
    • 以往研究表明,与正面期待相比,负面期待可能产生“Nocebo效应”,即降低认知功能和性能。
  • 研究问题:

    • 对于一项并不存在的AI系统,负面的语言描述是否会降低用户的主观性能预期以及客观任务绩效?
    • 负面的描述是否能打破 Placebo 效应?
    • Placebo 效应如何具体影响用户的决策过程(如反应时间、正确信息积累等认知参数)?
  • 研究动机:

    • 当前AI用户体验评估方法可能受到用户预期的显著影响(如 Placebo 效应),从而导致对AI系统评估失真。
    • 借助认知建模与定量评估,明确负面描述是否可以消除 Placebo 效应,并探讨决策过程中出现的具体变化。

解决方案

  • 研究方法:

    1. 实验设计:
      • 28名参与者被分入“正面描述”和“负面描述”两组,分别完成信件识别任务。
      • 任务以两个状态运行:AI系统“活跃”与“非活跃”(实际并无AI)。
      • 同时监测用户的决策行为、认知负荷、生理信号和主观评价。
    2. 主要技术与工具:
      • 使用“动态漂移扩散模型(Drift Diffusion Model, DDM)”分析决策过程。
      • 实验使用Bayesian统计方法及生理信号记录设备(如皮电反应EDA)进行数据采集与分析。
  • 创新性:

    • 通过引入负面语言描述,首次验证AI Placebo 效应的坚韧性。
    • 借助认知建模(如DDM)量化测试 AI对信息积累速度(Drift rate)、决策界限(Boundary separation)等内在过程的影响。

研究成果

  • 主要发现:

    1. Placebo 效应对负面描述具备显著鲁棒性:即使告知参与者AI可能降低任务绩效,被试仍期待AI“帮助”提升表现。
    2. 使用动态漂移扩散模型解析发现:
      • 信息积累速度 (Drift rate): 在活跃AI条件下参与者信息处理速度提高。
      • 决策界限(Boundary separation): 系统“活跃”时,参与者决策更保守(即需累积更多信息)。
      • 非决策时间(Non-decision time): 减少,尤其是接受负面描述条件下。
  • 与现有研究的对比:

    • 研究指出,与以往对Placebo 效应受描述影响的结论不同,AI 性能偏好(“AI performance bias”)体现出对负面描述的“抗干扰性”。
    • 此外,负面语言描述未能引发“Nocebo效应”。
  • 局限性:

    1. 实验中可能存在情绪干扰因素(例如实验环境下正性情绪抑制负性期待)。
    2. 生理负担(如皮电信号等)未显示显著差异,因此可能需要更细致任务设计。
    3. 结果对任务或文化语境的广泛适用性仍需更多验证。
  • 未来方向:

    1. 探讨更复杂的AI上下文与真实系统操作,不仅关注人机协作,还应考虑人机竞争任务。
    2. 在实际应用与设计上发展控制Placebo 效应的策略。
    3. 增强负面描述干预效力,探讨情绪、文化认知等对用户预期的调节作用。

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/papers/chi/148294/2024

广告推荐

学习 AI 编程到 CodeNow

open_in_new打开DOI链接
DOI: https://doi.org/10.1145/3613904.3642633
一眼看懂

论文快照

fact_check
dataset
来源
CHI
calendar_month
年份
2024
emoji_events
奖项
未标记奖项
group
作者
4 位作者
sell
研究子方向
可解释人工智能(XAI)、AI 辅助决策与自动化系统、AI 伦理、公平与问责
work
职业/产业
软件工程师与开发者、AI/ML 研究员与工程师
article
内容状态
已索引正文
hub
相关论文
10 篇相关论文