Q3.05.2Combinatorial sample-size growth设计研究
所需样本量随因素数急剧增长
别名: 格子爆炸 · 析因样本量 · combinatorial explosion
概念解释
在交叉实验里，格子数等于各因素水平数的乘积。每增加一个二水平因素，格子翻倍，分到每个组合上的独立观察就减半。要稳定估计交互，所需总样本往往比只估主效应时高出一截，因素一多就会出现流量看起来很大、每个组合却很空的局面。这不是“多测几个方案”的线性加量，而是组合爆炸。
机制
格子均值的抽样方差随该格人数下降。主效应还能把若干格子合并起来借力；交互是差值的差值，用到的有效信息更少。同样总流量下，二因素二水平的交互对比已经比单因素 A/B 更噪；再加第三个二水平因素，格子从四变八，每个组合的人数再削一半，三阶交互几乎没有可用精度。稀疏格子还会让少数大户或机器人把某个组合的指标拽偏，而这种偏倚在合并主效应时被平均掉、在组合决策时却被当成“这个版本更好”。
怎么研究
先规定要估计到哪一阶交互、最小重要效应、基线转化与方差，再按格子——而不是按总流量——做功效或精度规划。仿真时让流失、不平衡和异常值进入，检查最小格子人数而不是平均人数。若流量撑不住全交叉，在实验前改用更少因素、合并水平，或预先声明忽略的高阶项；事后删格子会改变可估计的效应。报告每个格子的有效样本、排除规则和最小格是否低于预注册阈值。
边界
连续因素、分层与协变量可以减少所需人数，但不能把八个稀疏格子变成一个高功效实验。非转化类指标、强相关的重复测量，或只关心预先指定的少数组合时，爆炸不那么剧烈。流量极大的产品仍可能撑住三四个二水平因素；小产品和低频转化则在两个因素处就已经不够。功效不足时“没有显著交互”只说明看不清，不是证明可加。
怎么落地
- 用主指标的基线率和最小值得上线的差，计算每个格子至少要多少独立用户；不够就减因素，而不是先上线再看。
- 仪表盘同时显示总流量与最小格子人数，最小格低于阈值则不解读组合排名。
- 拒绝“再加一个按钮颜色试试”这类在不增加窗口或流量时扩大交叉的请求。
- 实验结束时列出空格与近空格；若决策依赖这些格，宣告实验无结论并改做更小的交叉。