以人为本的可解释人工智能中用户对偏见的看法的背景化

文献标题

Contextualizing User Perceptions about Biases for Human-Centered Explainable Artificial Intelligence

文献信息

• 主题领域: 人工智能（AI）中的可解释性与用户偏见感知
• 关键词: 人工智能, 人机交互, 可解释性AI, 偏见, 透明性, 用户感知, 人本计算

研究背景与问题

• 发现的问题或挑战:

  1. 当AI系统或其结果表现出偏见时，缺乏可理解性可能降低用户信任并导致其采纳困难。
  2. AI偏见可能源于数据收集阶段并沿着建模及部署过程传递，从而转化为社会偏见（如性别、种族等）。
  3. 用户对AI背后的算法机制缺乏了解，尤其是在面对“黑箱”问题时。
  4. AI偏见的影响可能随应用情境的不同而变化，例如医疗或招聘这样的高风险场景较为敏感。

• 研究的重要性:

  1. 随着AI技术的广泛应用，了解用户如何感知AI并应对其中的偏见对提升AI的可解释性设计至关重要。
  2. 与公平性、问责性和透明性相关的AI伦理已成为开发可信AI系统的重要支柱。

• 研究动机与相关工作:

  1. 尽管现有的XAI（Explainable AI，可解释AI）研究多聚焦于算法透明性和模型可解释性，但对用户感知层面的研究相对不足，尤其是一般终端用户而非技术专家。
  2. 本研究试图从人机交互和社会交互的视角探讨用户如何在社交技术情境中理解AI偏见。

解决方案

• 提出的方法或解决方案: 本研究通过用户中心的底层方法，通过深度访谈调研两个重要的利益相关方群体：普通终端用户（n=24）和AI工程师（n=15），以探讨用户对AI偏见的感知及其解释需求。

• 解决方案的创新之处:

  1. 强调通过用户感知来补充现有以计算和算法为核心的XAI研究。
  2. 区分并明确不同情境下（高风险与低风险）的偏见感知及解释需求。
  3. 提出细化的设计考量以加强AI的透明性和用户对系统的信任。

• 实施步骤与关键技术:

  1. 访谈设计:
     • 对象包括日常使用AI应用的终端用户和负责AI开发的工程师。
     • 设计两个主要部分的访谈提纲：一般AI使用经验和6个带偏见的AI场景（如医疗诊断、高管招聘）。
  2. 场景选择:
     • 高风险应用场景：如医疗、金融和招聘系统。
     • 低风险应用场景：如图片搜索、文本自动补全和语言翻译。
  3. 数据处理与分析:
     • 将访谈内容录音并转录；
     • 使用Atlas.ti软件进行开放编码、分类分析和扎根理论编码。

研究成果

• 具体成果:

  1. 用户如何感知AI偏见：
     • 偏见被许多用户视为社会现实的反映。
     • 一些用户将偏见归因于算法的缺陷，而另一些则归因于社会或自身知识能力不足。
  2. 用户解释需求的差异：
     • 用户希望系统能透明地展示偏见来源及关键的决策参数（例如使用的数据类别）。
     • 对于高风险场景（如医疗），用户对可解释性的需求更强，容忍度更低。
  3. 针对偏见的解决建议：
     • 系统需透明化数据来源和算法参数。
     • 推荐制度引入同侪用户评估或外部可信机构的审核。
     • 考虑到信息过载的风险，信息披露应适度分层。

• 相较现有研究的优势:

  1. 提供了关于高风险和低风险场景的更微妙理解；
  2. 将终端用户的认知与工程师的技术视角联系在一起，为用户中心的XAI设计提供更接地气的建议。

• 实验或评估结果:

  1. 普通用户倾向于依赖自身经验或外部可信机构验证AI结果。
  2. 偏见越接近用户的个人边界或涉及严重后果，如生命健康，用户对模型的透明性需求越高。
  3. 工程师对用户反馈的关注更多集中于模型性能（精度）的优化，而较少涉及用户感知层面的具体关注。

• 局限性与未来方向:

  1. 探讨范围主要限于台湾（受访者以中文为主），未来可加入跨文化比较。
  2. 招募的工程师中女性比例较低，未来研究可关注性别对AI偏见感知的影响。
  3. 鼓励后续使用定量研究方法，扩大样本量以验证偏见感知的普遍性。