L6.08.3silent missing content设计研究
用户无法评估自己没看到的内容,缺失不会产生可见反馈
别名: 缺失无反馈 · 看不见的负样本 · no ticket for absence
概念解释
仪表盘上有点击、完播、投诉、退订。没有「本该出现却没出现」这一栏。用户也打不出这张工单——他们不知道那一部存在。沉默的缺失(silent missing content)指:未展示项既不进入用户的评价,也不进入系统的可见反馈,覆盖收缩在数据和体验两侧都没有报警器。
用户看不见缺什么,是感知层。这里多一刀:产品侧同样收不到信号,优化循环里缺失是零,不是负。
机制
反馈通道登记的是发生了的事件。未曝光不是事件,计数器不加也不减。投诉针对的是看见的糟,不是没看见的好。于是「覆盖太窄」在工单系统和损失里都是空的,只有点击等正事件在说话。目标已经会自己收窄;没有负信号,收窄还能在报表上显得很健康。
离线评估吃的是日志里出现过的展示与点击,缺失同样不在样本里。线上 A/B 若只看点击,对照双方都可以在沉默中变窄,实验判不出多样失败。报警器必须外挂:对照目录、编辑清单、跨用户覆盖,而不能指望用户或主指标开口。
怎么研究
在日志之外建一份「应可见」清单(类目配额、编辑必保、随机探测槽),对比实际曝光。因变量:应可见而未曝光的比例、该比例与投诉量的相关(预期接近零)、用户被出示缺失清单后的评价变化。自变量:探测槽是否存在、报表是否包含缺失率。
用户侧的未知未知是感知实验。这里的方法是系统侧:把缺失做成可计数的对象。若投诉和满意度在覆盖下降时仍持平,就是沉默在工作。
边界
搜索和外部书单让缺失可被核对,沉默会破。强编辑媒体每天有「没上版」的内部会议,报警器在人而不在用户。物品寿命极短时,「应可见」清单本身不稳定。这条不重写感知盲,不讨论随机还是结构化注入。
怎么落地
- 给覆盖一个独立报警:应保类目连续 N 天曝光低于配额就响,不要等点击掉。
- 保留一小股与模型无关的探测曝光,专门为「还存在但没人点」的条目产生可见记录。
- 验证:人为把一个应保类从主排序拿掉一周,看投诉、满意、点击有没有动。若主指标不动而只有外挂缺失率在动,就证明缺失本来不会自己说话,报警必须靠外挂。