L6.06.6unappealable misclassification设计研究

推断错误同样造成伤害,被错误归类者往往无处申诉

别名: 错误归类 · 推断伤害 · no appeal for inference

概念解释

把不是病人的人推进医疗广告、把不是某群体的人推进该群体内容、把已结束的人生阶段当成进行中——错的标签一样改排序、一样被旁人看见。无法申诉的错误归类(unappealable misclassification)指:推断出错时伤害仍然发生,而用户常常找不到一个能把该标签作废的入口,甚至不知道标签存在。

伤害不要求标签是真的。被命名、被对待,就够了。

机制

分类器有误差,尾巴上的人承担不成比例的错分。错分进入排序后,用户看到的是「系统坚持认为我是 X」:内容池被锁,理由在重复一个错误身份。若标签不可见,人只能体验到「推荐变得奇怪」,无法对准对象申诉。若标签可见但只能「减少这类」,减的是内容不是身份,下一次仍会从行为里再估出来。

没有作废通道时,纠正成本转到用户身上:他们必须反向表演(刻意点对立内容)或放弃产品。表演会进一步污染日志。错误因此自我维持,和估对时的刻板印象一样硬。

怎么研究

把已知错误的敏感或身份标签写入一部分用户的档案(在伦理审查与知情下),对照正确标签与无标签。测内容池偏移、主观被误认、寻找纠正入口的成败、纠正后标签是否回潮。自变量:标签是否可见、是否存在「这不是我」的作废而不是「少看」。因变量:误认伤害、申诉成功率、回潮时间。

总体准确率会把这些人平均掉。必须在错分单元上报告,而不是只报分类器的总体分数。

边界

低后果的口味错分(爵士推成流行)伤害小,作废通道仍有用但不是同一紧急度。用户自己填错的字段是资料错误,走资料编辑,不是推断申诉。安全封锁有时不能提供即时作废,但必须有人审通道,不能把安全当无穷期的身份标签。这条管「错也伤、且常无对口」,不重申展示即披露,也不讨论场景容忍度。

怎么落地

  • 每个会改变对待的推断标签配一个「这不是我」,效果是作废并禁止短期内再估,而不是把该类内容降权了事。
  • 作废必须可到达:从奇怪的推荐理由、从画像、从一封「为什么我会看到这个」的入口都能走进去。
  • 验证:人为写入一个错误身份标签(测试账号),看五分钟内能不能作废,以及作废后七天内会不会从行为里长回来。作废不了或会回潮,申诉就是空的。

延伸

  • 同组L6.06.1 行为推断可能触及未主动披露的信息 · L6.06.2 推断结果的展示本身构成披露 · L6.06.3 敏感类别的推断需要额外限制 · L6.06.4 非敏感行为的组合可以推出敏感属性,逐项合规不等于整体合规 · L6.06.5 推断结果在共享设备与共享屏幕上会向第三方披露 · L6.06.7 用户对推断的容忍度取决于场景,同一推断在不同产品中评价不同 · L6.06.8 退出推断与退出数据采集是两件事,应分别提供开关
  • 相邻L6.10 个性化的可关闭与可重置 · L6.13 推荐的负面反馈通道 · L6.07 推荐理由的呈现
  • 站内检索unappealable misclassification · inference error harm · this is not me

同组卡片

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/handbook/L6.06.6