认证但不完美：探究 AI 认证与系统性能对人工智能系统信任度和依赖性的影响

文献标题

Certified But Imperfect: Investigating The Role of AI Certifications And System Performance on Trust in And Reliance on AI Systems

出版信息

• 主题领域: AI认证和系统性能对用户信任与依赖的影响。
• 关键词: AI认证、AI信任、AI依赖、系统可靠性、期望违背、人机交互、治理工具、用户行为、AI监管、适当依赖。

背景与问题

• 问题/挑战: 尽管政策越来越强调将AI认证作为治理工具，但关于这些认证如何在实际交互环境中影响用户信任、依赖和期望的实证理解仍然有限。
• 重要性: 理解认证的作用对于在医疗、金融等高风险领域促进对AI系统的适当信任和依赖至关重要，因为错误可能会带来严重后果。
• 动机与相关研究: 先前研究对AI认证的有效性结果不一，有些研究表明认证增加了信任，而另一些研究发现没有影响。此外，认证在塑造用户期望及其与系统可靠性之间的相互作用方面仍未充分探索。

解决方案

• 提出的方法: 通过2x2实验研究，探讨AI认证（认证与未认证）和系统可靠性（高与低）对用户信任、警觉性、依赖和期望违背的影响。
• 创新点:
  1. 区分交互前与交互后对AI系统的信任和依赖。
  2. 研究认证如何与系统可靠性相互作用以塑造用户行为和期望。
  3. 引入适当依赖的测量指标，例如相对AI依赖（RAIR）和相对自我依赖（RSR）。
  4. 通过中介分析探讨期望违背在信任动态中的作用。
• 实验流程与关键技术:
  • 参与者（N = 644）完成了一个两步估算任务，并获得虚构AI系统（QuantifierAI）的协助。
  • 实验操控包括认证状态（认证与未认证）和系统可靠性（高与低）。
  • 测量指标包括信任、警觉性、依赖（建议权重）、期望违背（直接和间接）以及适当依赖（RAIR和RSR）。
  • 统计分析包括ANOVA和中介分析，用于评估认证和可靠性的影响。

结果

• 具体发现:
  • 交互前，认证系统获得更高信任（M = 3.53 vs. 3.19, p < .001），且警觉性较低（M = 3.67 vs. 3.87, p < .001）。
  • 交互后，信任和警觉性主要受到系统可靠性影响，而非认证（认证效应p > .05）。
  • 认证系统增加了依赖（M = 0.60 vs. 0.55, p = .015），并支持更适当的依赖（RAIR: M = 0.541 vs. 0.423, p < .001），尤其是在可靠性较低的系统中。
  • 认证增强了可靠性对信任的影响，在高可靠性与低可靠性系统之间的信任差异更大。
  • 对于低可靠性系统，认证引发了更多负面的期望违背（间接EV: M = 1.42 vs. 0.96, p < .001）。
  • 中介分析证实，负面的期望违背降低了对认证、低可靠性系统的信任。
• 相较基线的优势:
  • 认证改善了依赖和适当依赖，特别是在低可靠性条件下。
  • 认证作为初始信任线索，但在交互过程中其影响不如可靠性显著。
• 实验/评估:
  • 设计: 2x2被试间实验。
  • 参与者: N = 644，通过Prolific招募，人口统计学特征多样。
  • 指标: 信任（TAIS量表）、警觉性（TAIS量表）、依赖（建议权重）、期望违背（直接和间接测量）、RAIR和RSR。
• 局限性与未来工作:
  • 缺乏对认证本身适当依赖的测量。
  • 对认证效应的心理机制（如认知负荷、权威启发）探索有限。
  • 聚焦于可靠性，未研究公平性和可解释性等其他信任驱动因素。
  • 静态认证模型，未来应探索动态、持续的认证过程。
  • 在强制认证制度下结果可能有所不同。

总结

本研究探讨了AI认证和系统可靠性如何影响用户信任、依赖和期望违背。认证提升了初始信任和依赖，但在交互后对信任无显著影响，此时可靠性成为主导因素。认证支持适当依赖，尤其是在低可靠性条件下，但也在性能较差时加剧了负面的期望违背。这些发现突出了认证作为信任线索和潜在期望错位来源的双重角色。政策制定者和人机交互研究人员在设计和实施AI治理机制时应考虑这些动态因素。