人类对AI的感知包括谁？：围绕医疗保健AI的信任和感知公平性以及文化不信任

文献标题

Who Is Included in Human Perceptions of AI?: Trust and Perceived Fairness around Healthcare AI and Cultural Mistrust

文献信息

• 主题领域: 人工智能算法信任、医疗公平性与文化不信任感
• 关键词: 人工智能感知、公平性、信任、医疗人工智能、群体医疗不信任量表、黑人视角
• 发表会议: CHI Conference on Human Factors in Computing Systems (CHI 2021)
• 出版时间: 2021年
• 作者: Min Kyung Lee, Kate Rich

研究背景与问题

• 发现问题或挑战:

  • 人工智能在医疗、教育和司法等领域的普及加剧了人们对算法决策的信任问题。
  • 现有研究表明人们对算法决策的信任显著低于人类决策，尤其在需要主观判断或关注个体独特性的任务中。
  • 然而，不同群体间对“人类决策者”的信任水平并不一致，特别是美国黑人历史上因种族歧视对人类系统的不信任感值得关注。

• 重要性:

  • 理解特定社会群体对人工智能决策的感知有助于减轻医疗中的不平等现象。
  • 医疗领域中人工智能会影响患者体验并潜在地加剧现有的不平等问题。

• 研究动机与相关工作:

  • 当前针对人工智能信任的研究大多忽略了文化和社会背景差异。
  • 本研究专注于诊断皮肤癌时的人工智能决策，比较有高度医疗不信任感和较低不信任感者对AI与人类医生信任和公平感的看法。
  • 目标是在医疗AI场景下探讨文化不信任感的作用，并为未来研究拓展社会群体感知算法公平性提供数据支持。

解决方案

• 研究方法:

  1. 在线实验:
     • 通过实验比较医学背景下，对人工智能和人类医生决策信任的差异。
     • 使用“群体医疗不信任量表”（GBMMS）测量参与者不信任感，将其分为高、低两组。
     • 分别呈现AI诊断皮肤癌与医生诊断的情景，并评估其公平性和信任度。
  2. 访谈研究:
     • 通过半结构化访谈，收集高不信任者对医疗AI的感知，以及哪些信息能增进对AI的信任。

• 研究假设:

  • H1: 对人类系统不信任感较低者，会认为AI决策的信任度和公平性低于人类医生决策。
  • H2: 对人类系统不信任感较高者，会认为AI决策与人类医生决策的信任度和公平性相近甚至更高。

• 实施步骤:

  • 在线实验招募了黑人及白人参与者，通过两轮调查搜集数据（第一轮测量GBMMS分数，第二轮测试感知）。
  • 访谈中展示不同描述的医疗AI，包括基础描述、数据驱动描述、公平驱动和反歧视驱动描述。

研究成果

• 实验结果:

  • 低不信任组：人类医生决策被认为更公平且更值得信任，此结果与以往文献一致。
  • 高不信任组：AI决策和人类医生决策在信任度和公平性上的评分无显著差异。
  • 群体间差异：
    • 在高不信任组，黑人参与者的决策信任度和公平性评分显著低于白人参与者，且黑人参与者的总体医疗不信任感（GBMMS分数）更高。

• 访谈结果:

  • 对医疗AI的不信任与个体对医生体验的好坏密切相关。多数高不信任参与者对其医疗经历持负面评价，尤其担忧受到歧视。
  • 对AI公平性和偏见的看法：部分高不信任者质疑AI偏见性，认为其可能无法像正常系统一样公平对待黑人患者。
  • 期望的补充信息：参与者希望获取关于AI透明性（如训练数据的代表性、隐私保护、准确度等）的更多详细信息。
  • 对AI描述的响应：
    • 数据驱动的描述被普遍认为更具信任感。
    • 高度不信任者对公平性声明表示关注，优先考虑反歧视描述，但对其真实效用持怀疑态度。

• 贡献和重要意义:

  • 指出当前算法信任研究中对社会文化差异的忽视。
  • 为高不信任群体和低信任算法选定有效设计策略提供了新思路，如提供更透明、数据详实的展示。

• 局限性与未来方向:

  • 本研究基于在线实验与访谈，实验和样本规模较小。
  • 没有测试多种医疗情境，也未覆盖更多种族和性别，包括跨性别或非二元性别群体。
  • 未来可拓展到真实医疗服务场景，同时研究不同受众的感知，包括拉丁裔和亚裔群体。

总结

本文研究了人类决策系统不信任感在黑人高医疗不信任群体中对医疗AI公平性与信任度的影响。一方面揭示了文化差异的重要性，另一方面强调在算法信任设计中需关注透明性与公平驱动的展示。研究为未来在减少医疗中的社会群体不平等方面提供了建议和方向。