同时检验多个因素及其交互
别名: 多变量测试 · 析因实验 · MVT · factorial experiment
概念解释
析因多变量测试（factorial multivariate testing）把两个以上因素同时交叉进同一轮实验，使每个因素的每一水平都出现在其他因素的各水平上。它要估计的不只是“改按钮是否更好”，还包括按钮效果是否随文案、价格展示或默认选项而翻转。这与只把流量随机分给两个完整方案的 A/B 测试不同：后者比较的是整包处理，无法把差异拆到具体因素，更无法检验因素之间是否互相依赖。
机制
在平衡的交叉分配里，每个观察对所有主效应估计都有贡献，因素效应在设计上可正交分离。交互（interaction）是减去可加主效应之后剩下的模式：因素 A 在 B 取某一水平时的简单效应，与 B 取另一水平时不相同。顺序做多次单因素 A/B，每次都把其余界面当固定背景，得到的是当时背景下的条件效应；背景一旦与处理一起变，就无法判断差异来自新因素、时间漂移，还是两者的组合。只有交叉结构才把“组合单元”做成可比较的格子。
怎么研究
自变量：各因素及其交叉格子。因变量：预先锁定的主指标，以及用于检查机制的过程指标。分析用可估计交互项的模型，而不是对格子做一串互不连接的两两检验。先写清每个格子对应的界面状态，确认实现没有把两个因素绑死。试运行检查格子是否都有流量、随机化是否按用户还是按会话。若某些高阶交互被事先声明可忽略，需把这一假设写成可检查的残差，而不是在结果出来后删项。
边界
因素水平若无法独立操纵——例如深色主题会强制改写按钮对比度——交叉格子并不正交，交互项会吸收实现约束而非用户反应。个性化系统、频次上限和互斥功能会破坏随机交叉。当真正的决策是在两个完整方案中选一个，整包 A/B 更直接，不必强行拆因素。实验室析因可以控制材料，线上流量实验还受新奇、学习与污染影响，格子可估不等于效应可推广。
怎么落地
- 只把真正可能互相依赖、且能独立上线的因素放进同一轮，其余用后续单因素实验处理。
- 为每个格子准备可发布的界面状态清单，上线前用截图核对没有绑死。
- 主指标只保留一个；交互项是否进入决策规则要在实验开始前写明。
- 若只能解释“哪个完整组合更好”而不能指出因素贡献，就改报组合对比，不要声称完成了因素拆解。