生活在他们的乌托邦中：为什么算法系统产生荒谬的结果

文献标题

To Live in Their Utopia: Why Algorithmic Systems Create Absurd Outcomes

文献信息

• 主题领域: 人机交互（HCI）、算法偏见与社会影响
• 关键词: HCI, 人工智能, 街头级别算法, 算法偏见, 社会公正, 算法透明性, 数据伦理, 算法监督, 权力结构

研究背景与问题

• 问题与挑战:

  • 人工智能（AI）和算法系统被宣传为能够预测和满足人类需求，但实际部署通常出现错误和导致不公平结果。
  • 算法系统往往反映并放大社会历史中固有的不平等、偏见和边缘化现象。
  • 当前研究主要聚焦于数据和代码中的偏见，却较少关注算法系统与权力结构之间的交互如何系统地导致这些问题。

• 重要性:

  • 算法错误和偏见可能对社会中已经被边缘化的群体造成潜在危害，这种现象在许多应用领域都得到证明。
  • 理解算法技术设计与社会权力的不对称如何加剧不公正，能为相关领域的未来研究和政策提供理论指导。

• 研究动机与相关工作:

  • 通过借用人类学对国家权力和官僚结构的研究，尝试解释算法系统如何制度性地对弱势群体造成伤害。
  • 借鉴经典理论如 James Scott 的“国家视角”（Seeing Like a State），以讨论行政官僚的“简化地图”如何在转换社会和自然时导致灾难。

解决方案

• 提出方法与框架:

  • 将算法系统比作行政国家，将其视为一种与权力协作的行政实体。
  • 引入“官僚想象”、“合法性”（legibility）和“荒谬性”（absurdity）等人类学概念，研究算法如何对社会造成代表性和分配性伤害。
  • 提出一个结构性理论，描述以人工智能为基础的算法系统如何通过数据、模型和目标，及其内在的权力分配问题，对边缘化群体造成损害。

• 创新之处:

  • 从人类学和社会学的视角出发，系统性框架分析算法偏见的深层根源，而不是将其仅归结为数据或技术开发中的问题。
  • 提倡从权力分配和算法透明性入手，以及技术内外设计对社会公正的考量。

• 实施步骤与关键技术:

  • 通过对多个算法失效案例的经验分析，包括人脸识别的种族偏差、学术录取算法对性别和种族的歧视性误差等。
  • 利用“街头级别算法”理论扩展算法如何与实施背景中的权力动态互相作用。
  • 借助 Graeber 和 Scott 的理论框架，倡导以社会环境为导向的建模，并限制算法对社会的全面强制性转换权力。

研究成果

• 主要成果:

  • 提出了一种理论框架，说明算法系统倾向于因内化的权力结构而导致社会中的边缘化与不公正。
  • 通过具体案例如面部识别技术、机场安检和学术录取算法，验证算法对边缘化人群的“荒谬性”行为背后的系统性机制。

• 与现有解决方案的比较优势:

  • 提供更系统性和人类学视角的解释，适用于理解算法失败的社会与结构性根源。
  • 进一步提出设计干预的可能路径：限制算法的权力，以支持基层的抗争和拒绝机制。

• 实验或评估结果:

  • 通过案例分析指出，算法最常造成的伤害在于对社会动态和个体差异的忽视，将边缘人群标记为“异常”。
  • 数据显示，当被评估者拥有有限或没有权力对抗算法性决策时，荒谬的结果会更加频繁和严重。

• 局限性与未来方向:

  • 当前理论更多基于社会结构和哲学模型，技术上对如何实际设计“反权威性”系统的探讨有限。
  • 未来应探索如何使模型更具“机智”（metis），并与多方利益相关者深度合作进行社会响应型建模。
  • 进一步研究如何将这些理论化建议转化为具体的政策和技术开发实践。