从大量细分结果中挑选显著项汇报是数据窥探
别名: 细分挑选 · 数据窥探 · 显著切片
概念解释
把同一指标按国家、设备、新老用户、渠道、星期切成许多格子，再只把显著的那几格写进结论，这是数据窥探（data peeking）里的切片挑选。格子在分析时才被注视，显著的格子被留下，不显著的被当成“无关”丢掉。总体可能什么也没有，切片却总能找出一格好看。这与同时检验多个不同指标不是同一张表：这里重复的是同一终点上的许多切割。也不是把探索阶段发现的模式拿到同一批数据上装成已经证实——切片挑选坏的是汇报时的选择，问题在“哪一格被讲出来”。
机制
每一次切割都是一次额外检验，切割规则还可以在看见哪里绿了之后再改（换年龄分箱、把两国合并）。选择过程吃掉了噪声里最极端的波动，点估计偏大，名义 p 失效。听众只看到被挑出的格子，看不见被搜过的格子数，于是把一个搜出来的亮点当成预先关心的人群效应。交互或异质性可以是真问题，但真问题要用事先声明的切割、有限的格子和针对交互的检验来问，而不是在会场上逛热图。窥探不必打开数据很多次：一次把所有切片算完再挑，已经够了。
怎么研究
预先列出允许的细分、每一刀的理由和将用于交互的检验，格子数计入多重性。其余切割一律标为探索，报告时同时给出搜索空间（切了哪些、几格、几格过线）。对声称的切片效应，用独立样本或预留折确认；没有新数据就把该格写成探索。交互检验优于“在每个水平里分别做主效应再挑显著的”。稳健性：换分箱、去掉最大的一格，看故事是否还在；一换就消失的切片不得升级。
边界
产品确实只服务一个预先定义的人群（只做某一语言、某一设备），那一刀不是窥探，前提是它写在计划里而不是写在结果里。极稀的格子显著，常常是方差爆炸而不是发现。描述性地展示所有切片、不做挑选叙事，可以作监测，语言须保持“尚未确证”。安全事件按预先清单逐项切开，目的是不漏伤害，仍应报告切了多少项，而不是只贴红的那一项。
怎么落地
- 结论页禁止出现计划里没有的人群标签；要讲某一切片，先把它从探索升格到下一轮确证。
- 探索附件必须含完整切片矩阵，而不是几张好看的柱。
- 会场发现某设备“很显著”时，记成待验假设，不改当次发布说明。
- 验证：数一数实际切过的格子；只汇报显著格、不报分母，该页作废。