从飞机坠毁到算法伤害：安全工程框架在负责任的机器学习中的适用性

文献标题

从飞机失事到算法伤害：用于负责任机器学习的安全工程框架适用性研究 (From Plane Crashes to Algorithmic Harm: Applicability of Safety Engineering Frameworks for Responsible ML)

文献信息

• 主题领域: 机器学习伦理与社会责任
• 关键词: 实证研究、安全工程、机器学习、社会与伦理风险

研究背景与问题

• 发现的问题或挑战:
  • 当前用于评估和减少机器学习（ML）系统社会与伦理风险的流程不连贯且缺乏一致性。
  • 无论学术界还是工业界，对机器学习系统社会与伦理风险的定义及其管理方法尚缺乏统一认识。
  • 实践中面临定义模糊、时间与资源限制、组织文化及动力机制冲突等问题。
• 重要性:
  • ML 系统可能在社会资源分配不公、强化社会偏见及不平等等方面造成严重的负面影响。这些所谓的社会与伦理风险需要被系统地识别、评估与缓解。
  • 针对这些问题的发展框架可支持国际范围内的政策和标准制定，同时促进 ML 系统的伦理性和安全性。
• 研究动机:
  • 作者试图探讨传统安全工程框架（Failure Mode and Effects Analysis, FMEA 和 System Theoretic Process Analysis, STPA）是否可以在 ML 系统的社会与伦理风险管理中发挥作用，以填补当前实践中的结构性空白。
  • 针对当前文献中对 ML 系统的风险管理框架缺乏实证研究，作者希望通过和工业实践者的访谈，更好地了解这些框架的适用性和潜在改进方向。

解决方案

• 提出的方法或解决方案:
  • 利用 FMEA 和 STPA 两种安全工程框架的分析方法，试图用其系统化的方法论来改善 ML 领域的社会与伦理风险评估实践。
  • 对工业实践者进行半结构化访谈以收集第一手数据，评估这些框架的适用性和实际价值。
• 创新之处:
  • 将传统应用于航空、核能等高风险领域的安全工程方法首次扩展应用到 ML 系统的社会与伦理风险中。
  • 提供了全面的比较视角，分析了两种框架（FMEA 和 STPA）在 ML 社会风险管理方面的互补性。
• 实施步骤:
  1. FMEA 流程: 分解 ML 系统的功能或步骤，识别潜在失效模式，分析其影响、原因，以及可能的检测方法。
  2. STPA 流程: 建立系统层次的控制结构，定义潜在损失、危险和不安全控制行为，推导失效场景。
  3. 在实践中，作者通过访谈使受访者运用这两种框架对 ML 系统的社会风险进行模拟分析。

研究成果

• 具体成果:
  • FMEA 优点: 提供了分解 ML 系统具体功能并评估失效模式的工具，帮助将技术功能、潜在风险与责任明确化。
  • STPA 优点: 通过系统交互与反馈回路的视角，揭示了 ML 系统与社会及利益相关者之间的潜在危害。
  • 明确了两个框架的互补性：FMEA 更适合分析特定模块或过程，STPA 更适合考察整个系统的复杂交互。
• 与现有方案的优势:
  • 相较于现有的非系统化社会风险评估方法，这些安全工程框架提供了系统化和可重复的方法论。
  • 通过明确的步骤和流程，减轻了因学科术语不统一导致的多学科协作挑战。
• 实验或评估结果:
  1. FMEA 应用反馈: 在功能分解阶段遇到了困难，特别是对于大型 ML 模型；此外，在量化社会风险的严重性和出现可能性时存在不确定性。
  2. STPA 应用反馈: 涉及多方利益相关者和技术交互时，系统边界定义和表示复杂性是主要挑战；参与者普遍认为 STPA 的理论框架需要更明确的社会背景定义与分析。
• 局限性与未来方向:
  • 局限性:
    • FMEA 和 STPA 对系统的应用通常假设对系统部署环境有充分了解，但 ML 系统的复杂性常常超过这一假设。
    • 当前缺乏长效的组织转变支持机制，阻碍了这些框架在工业中的实践可行性。
  • 未来研究方向:
    • 优化现有框架，使其更好地适配于 ML 的社会与伦理风险，尤其是与社会背景和利益相关者互动的细节建模。
    • 引入更多来自批判理论和女性主义视角的价值定义，以弥补现有框架在社会多样性与公平性评估中的不足。
    • 深入研究不同行业和公司规模在实施这些框架时的实际需求和适应策略。

总结

本研究为将安全工程框架（FMEA 和 STPA）引入机器学习系统社会与伦理风险管理奠定了初步的实证基础。尽管存在理论和实践上的挑战，其提供的结构化方法为改善当前不连贯和缺乏体系化的风险管理实践开辟了新的可能性。同时，本文识别了框架进一步理论改造和行业应用的潜在方向，为未来工作提供了指南。