P4.02.3Fairness specification设计

公平目标需在设计前明确选择

别名: 公平规格 · fairness requirement · ex ante fairness

概念解释

公平规格(fairness specification)指把公平目标当作与延迟预算、正确率同级的验收约束,在系统设计之前写成文档:保护属性是什么、采用哪条统计准则、允许的偏差容限、分群体报告的口径、以及放弃了哪些准则与理由。它的对立面是「上线后再说」——模型训完了、出事了,再从现成指标里挑一个系统恰好接近达标的定义宣布合规。

机制

事后补选的定义无法约束已经固化的东西。公平准则的选择决定数据怎么采(分群体评估需要每群体足够的样本,事后发现就补不回来)、标注怎么定义(「成功」标签若继承历史歧视,选什么准则都只是重新分配伤害)、阈值怎么设(错误率均衡可能要求分群体门槛,单阈值管线做不到)。更重要的是激励结构:当选择发生在结果已知之后,人 会天然滑向让自己的系统通过的那条准则,评估从「发现问题」退化为「背书决定」;把选择移到结果产生之前,等于没收这枚事后可调的骰子——这正是所有验收规格(性能、安全)前移的同一逻辑。

边界

事前选择不等于一次定终身:用户构成迁移、群体基础比率变化会让原准则失效,规格必须附带修订触发条件而非被视为永久承诺。探索期产品连决策语义都未定时,强制全套公平规格会变成仪式,可缩窄到「保护属性清单 + 不做自动化决定」的最低档。规格也约束不了未写入的组织目标——若增长指标与公平目标在考核里权重悬殊,文档再完备也会输给考核表;事前规格的效力最终取决于它与发布门禁绑定,而不仅是存在。

怎么落地

  • 在模型开发启动前完成一页公平规格:保护属性及其依据、选定准则、容限阈值、分群体评估计划、被拒准则与理由,由产品与法务共同签署。
  • 把规格转化为验收项:训练完成后的分群体指标表不达标即阻断发布,与正确率不达标同等效力。
  • 为每条规格写修订触发条件:新市场上线、用户构成显著变化、上游数据源更换。
  • 验证:审计最近一次上线决策——若被拒准则的指标当时从未被计算,说明规格被绕过;追溯其原因(数据没采、指标没建)并堵上。

延伸

  • 同组P4.02.1 不同公平定义之间存在数学冲突 · P4.02.2 群体公平与个体公平可能不兼容
  • 相邻P4.14 伦理评估的流程化 · P4.09 算法公平与差异化影响
  • 站内检索fairness specification · fairness requirements · model card

同组卡片

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/handbook/P4.02.3