面向负责任的机器学习的非理想方法论框架

文献标题

Towards a Non-Ideal Methodological Framework for Responsible ML

文献信息

• 主题领域: 负责任的机器学习 (Responsible Machine Learning, RML) 方法论探索
• 关键词: 负责任的机器学习, 公平, 机器学习, 正义, 理想理论, 非理想理论, 机器学习实践者
• 会议与出版信息: 2024年CHI会议 (CHI '24)

研究背景与问题

• 问题与挑战:

  1. 当前关于负责任机器学习（RML）的研究多集中于技术层面，但技术实践者如何在实际中将理念纳入具体操作尚不明晰。
  2. ML 实践者（如开发者、工程师、数据科学家）在应用RML中的假设、选择和方法缺乏系统文档和研究，许多隐性实践未被充分分析。
  3. 现有RML大多依据“理想理论”，即通过简化假设来提出抽象的公平性准则，忽略了“非理想条件”下的复杂现实环境。

• 研究意义: 理解技术实践者处理RML的方法学特征，可为改进RML理论框架及其实践提供新思路，并支持多方协作。

• 研究动机: 推动RML方法从理想化作法转向对复杂实际情境的敏感性并探索实践者如何在实际案例中确立方法论路径。

解决方案

• 提出方法: 作者提出一种基于“非理想理论”的新方法论框架，此框架：

  1. 强调对非理想世界中不完善条件的诊断和结构化记录。
  2. 提出了一种映射机制，连接“抽象价值”（例如公平性）与目标实现路径及具体技术动作之间的关系。
  3. 整合并展示方法学选择、假设及其潜在影响，以支持技术与非技术利益相关者之间的协作。

• 创新之处:

  1. 将“非理想理论”引入RML研究，不仅诊断当前不公问题，还提出基于现实条件推进公平性的可行方法。
  2. 辨析了理想理论和非理想实践的方法论特点，并呈现实践者未被记录的隐含步骤。
  3. 提供了明确记录技术干预和方法论选择的系统框架。

• 实施步骤:

  1. 数据问题诊断：详细诊断数据中可能影响RML目标实现的不良属性。
  2. 建立映射关系：
     • 将数据问题映射到可实现的具体目标（Realized Goals, RG）和抽象价值（Abstract Values, AV）。
     • 记录假设（Known Assumptions, KA）和解决措施（Interventions, IV）。
  3. 记录与迭代：
     • 在每个开发周期版本中更新映射。
     • 提供动态、交互式可视化工具以展示组件之间联系。

研究成果

• 主要发现:

  1. 方法特点:
     • ML实践者的方法论处在理想化程度的连续谱中：部分基于理想化理论（如抽象化地处理RML问题），部分反映非理想方法（如解决当前不完善条件）。
     • 实施非理想方法（如诊断“非理想条件”、结合价值）的详细记录不足。
  2. 约束来源:
     • 制度性约束（如限定数据获取权限）。
     • 动机约束（如实践者缺少内在或外部激励推动以公平为中心的工作）。
     • 资源约束（如公平性计算带来的资源和时间压力）。
  3. 工具使用局限性:
     • 实践者所用工具（如公平性指标、说明工具）常缺乏对非理想条件下不确定性的完整记录。

• 实验结果与框架描述:

  • 一个包含五大要素（数据问题、具体目标、抽象价值、干预措施和假设）的映射框架可实现清晰的文档化路径，并有助于多利益相关方之间的协作。

• 与现有解决方案的比较: 此框架比现有主要基于理想理论的RML解决方案更强调现实敏感性和实践指导性，同时更注重技术环节透明化及跨学科协作。

• 局限性与未来方向:

  1. 局限：在大规模或复杂ML系统中如何扩展映射框架有待进一步研究；尤其对不完全数据标注实践的透明化问题未能详细涉及。
  2. 下一步工作：
     • 开发支持框架交互应用的可视化工具。
     • 延展该框架至应对复杂非技术性利益相关者或劳动数据标注者的场景。
     • 深入研究如何使框架成为具有公共透明度的问责工具，如“责任卡”（accountability cards）。