C9.06.5Cost asymmetry as numeric threshold设计研究

代价不对称应体现为分类阈值的具体取值,而非仅停留在原则声明

别名: 代价敏感阈值 · 原则落不成数 · 工作点数值

概念解释

「我们更怕漏报」如果最后仍用 0.5 切分概率,这句话没有进入系统。不对称必须变成一个数:分数高于多少才触发、低于多少才抑制。原则停留在设计文档、阈值停留在库函数默认值,是最常见的落空方式。

机制

代价敏感分类给出切分规则:令 (c_{\mathrm{FP}})、(c_{\mathrm{FN}}) 为两种错误的代价,最优阈值随代价比和基率移动,而不是停在概率 0.5。未校准的分数还要先做概率校准(Platt、isotonic),否则「0.8」并不对应 80% 的事件。工程上常见的替代是最大化 F1 或 Youden,它们对应隐含的代价比,通常接近对称。若产品口头上「宁可少报」,数值上却用 F1 最大点,两套逻辑在对抗。把原则写成数,还包括拒绝区间:中间一段不触发、要求更多证据,而不是每个分数都强迫二分类。

怎么研究

要求团队在评审时出示:代价比、基率估计、校准曲线、以及由它们算出的阈值。把「只有原则」和「原则已写入切分」两组产品对比现场假阳性率。消融很简单:冻结模型,只把阈值从 F1 最优点挪到代价敏感点,看打扰和漏检如何变。没有校准就报阈值的研究,数字不可比。

边界

分数不是概率、或校准集与现场分布差太远时,算出的数是假精确。类别极度不平衡时,小数点后三位的阈值会被采样噪声推动,需要用置信区间或分层阈值,而不是一个点估计。有些系统用规则和模型混合,单一阈值不存在,不对称要写进每条规则的条件,而不是假装有一个全局 0.5。

怎么落地

  • 在规格里写下触发阈值、抑制阈值和拒绝区间,附上所用代价比;代码里禁止残留无注释的 0.5。
  • 上线前用现场基率做一次阈值扫描,把选定的点标在精确率–召回率曲线上。
  • 原则改口时(「这周更怕打扰」)必须改数并记版本,不能只改文案。
  • 验证:读生产配置,确认正在生效的切分与规格中的代价比一致;若仍是训练脚本的默认值,原则即未落地。

延伸

  • 同组C9.06.1 假阳性与假阴性的代价不对称 · C9.06.2 阈值选择是产品决定而非算法决定 · C9.06.3 高后果动作不得由单一传感器判定 · C9.06.4 医疗警报场景通常宁可假阳性也要避免假阴性,消费场景常反之 · C9.06.6 同一传感器在不同功能上复用时,两个功能可能需要不同的误报容忍取向 · C9.06.7 误报代价的评估需要包含用户信任流失这类长期成本,不只是单次错误后果
  • 相邻C4.24 识别置信度与偏置方向 · C9.10 个体校准与基线漂移
  • 站内检索cost-sensitive threshold · probability calibration · reject option

同组卡片

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/handbook/C9.06.5