L6.08.3silent missing content设计研究

用户无法评估自己没看到的内容,缺失不会产生可见反馈

别名: 缺失无反馈 · 看不见的负样本 · no ticket for absence

概念解释

仪表盘上有点击、完播、投诉、退订。没有「本该出现却没出现」这一栏。用户也打不出这张工单——他们不知道那一部存在。沉默的缺失(silent missing content)指:未展示项既不进入用户的评价,也不进入系统的可见反馈,覆盖收缩在数据和体验两侧都没有报警器。

用户看不见缺什么,是感知层。这里多一刀:产品侧同样收不到信号,优化循环里缺失是零,不是负。

机制

反馈通道登记的是发生了的事件。未曝光不是事件,计数器不加也不减。投诉针对的是看见的糟,不是没看见的好。于是「覆盖太窄」在工单系统和损失里都是空的,只有点击等正事件在说话。目标已经会自己收窄;没有负信号,收窄还能在报表上显得很健康。

离线评估吃的是日志里出现过的展示与点击,缺失同样不在样本里。线上 A/B 若只看点击,对照双方都可以在沉默中变窄,实验判不出多样失败。报警器必须外挂:对照目录、编辑清单、跨用户覆盖,而不能指望用户或主指标开口。

怎么研究

在日志之外建一份「应可见」清单(类目配额、编辑必保、随机探测槽),对比实际曝光。因变量:应可见而未曝光的比例、该比例与投诉量的相关(预期接近零)、用户被出示缺失清单后的评价变化。自变量:探测槽是否存在、报表是否包含缺失率。

用户侧的未知未知是感知实验。这里的方法是系统侧:把缺失做成可计数的对象。若投诉和满意度在覆盖下降时仍持平,就是沉默在工作。

边界

搜索和外部书单让缺失可被核对,沉默会破。强编辑媒体每天有「没上版」的内部会议,报警器在人而不在用户。物品寿命极短时,「应可见」清单本身不稳定。这条不重写感知盲,不讨论随机还是结构化注入。

怎么落地

  • 给覆盖一个独立报警:应保类目连续 N 天曝光低于配额就响,不要等点击掉。
  • 保留一小股与模型无关的探测曝光,专门为「还存在但没人点」的条目产生可见记录。
  • 验证:人为把一个应保类从主排序拿掉一周,看投诉、满意、点击有没有动。若主指标不动而只有外挂缺失率在动,就证明缺失本来不会自己说话,报警必须靠外挂。

延伸

  • 同组L6.08.1 内容收窄由优化目标本身导致,不需要任何人有意为之 · L6.08.2 多样性的代价是短期点击下降,因此必须成为独立目标而非附带指标 · L6.08.4 随机注入与结构化多样是两回事,前者只增加噪声 · L6.08.5 多样应发生在用户关心的维度上,跨品类的多样解决不了观点的单一
  • 相邻L6.02 过滤气泡 · L6.13 推荐的负面反馈通道 · L6.09 反馈回路与偏好固化
  • 站内检索silent missing content · no ticket for absence · coverage alerting

同组卡片

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/handbook/L6.08.3