认证AI系统等同于可信？探索专家和普通用户对AI认证的认知与需求

文献标题

Certified AI System = Trustworthy? Exploring Expert and Lay User Perceptions and Needs Regarding AI Certification

出版信息

• 主题领域: 用户对人工智能认证系统的感知与设计
• 关键词: 人工智能认证、人工智能信任、人机交互、透明性、认证后监控、认证欺诈、以用户为中心的设计、人工智能治理、高风险人工智能、专家与非专家感知

背景与问题

• 问题/挑战: 关于人工智能认证如何影响用户信任的实证研究有限，尤其是在不同用户群体（专家与普通用户）之间。静态认证方法可能无法应对人工智能系统不断变化和情境依赖的特性。
• 意义: 人工智能认证对于建立信任、确保符合伦理标准以及降低高风险应用中的风险至关重要。理解用户的期望对于设计有效的认证方案至关重要。
• 动机与相关研究: 先前研究对人工智能认证在建立信任方面的效果存在不同结果。研究主要集中在技术和监管方面，但很少关注以用户为中心的视角。本文通过探讨专家和普通用户对人工智能认证及其相关流程的看法来填补这一空白。

解决方案

• 提出的方法: 以用户为中心的定性研究，调查专家和普通用户对人工智能认证的看法，包括信任影响、认证后监控和欺诈预防。
• 创新点:
  1. 对专家与普通用户对人工智能认证的感知进行实证比较。
  2. 确定用户对认证方案中透明性、监控和欺诈预防的需求。
  3. 提出设计以用户为中心、适应性强的人工智能认证系统的可操作建议。
• 程序与关键技术:
  • 对30名参与者（15名专家，15名普通用户）进行半结构化访谈。
  • 包括绘图练习以可视化参与者对认证过程的心理模型。
  • 使用主题分析法分析数据，以识别两组之间的感知和期望差异。

结果

• 具体发现:
  • 普通用户将认证视为信任的线索，而专家更为怀疑，强调理解认证过程的重要性。
  • 两组均偏好由独立组织或非政府组织进行认证，专家对私人公司作为认证方的接受度更高。
  • 专家倾向于基于更新的认证后监控，而普通用户更偏好年度检查。
  • 欺诈问题包括复制真实标签、自发认证以及未经授权的认证方。
• 相较基线的优势:
  • 强调需要多层次透明性以应对不同用户的专业水平。
  • 提出针对情境的适应性认证标准以处理人工智能系统的多样性。
  • 建议结合技术、法律和意识提升的措施来预防认证欺诈。
• 实验/评估:
  • 参与者包括15名人工智能专家（平均年龄33.67岁）和15名普通用户（平均年龄39.53岁），具有多样的教育和职业背景。
  • 数据收集包括访谈和绘图练习，使用主题编码进行分析。
• 局限性与未来工作:
  • 样本局限于WEIRD（西方、受教育、工业化、富裕、民主）国家和学术界为主的专家群体。
  • 结果为定性和探索性，通用性有限。
  • 未来工作应包括行业专家、非WEIRD参与者，并探索人机协作系统的感知。

摘要

本研究探讨了人工智能认证如何影响专家和普通用户的信任，揭示了感知和期望上的显著差异。普通用户将认证视为信任信号，而专家则要求透明性和稳健的流程。两组均强调独立认证方、持续监控和欺诈预防的重要性。研究结果突出了需要以用户为中心、情境特定的认证方案，结合多层次透明性和适应性标准。建议包括混合认证模型、自动化监控管道以及安全、可验证的认证标签。这些见解为设计技术上稳健且社会相关的人工智能认证系统提供了重要贡献。