Q3.04.2A/B tests select among existing variants设计研究
只能比较已有方案，不产生新方案
别名: A/B 不生成方案 · 方案选择而非探索 · 候选集限制
概念解释
A/B 测试是在已经实现的候选之间做选择：两版（或多版）代码、文案或布局被放进随机分流，比较哪一版在指定指标上更好。它不产生第三种尚未做出的结构，也不能把“更好”翻译成“还缺什么”。实验结束时得到的是候选集上的排序，不是需求发现。把测试排期当成创新流程，会让团队只发明测得动的小改动，因为没被做成变体的想法从未进入比较。
机制
随机分流需要每个臂都是可交付的产品状态，否则用户分过去会撞上未完成的路径。这个约束把搜索空间锁在工程已经付清成本的点上。生成新方案依赖对失败原因、未满足目标和替代做法的观察，那些材料来自访谈、现场和探索性原型，不会从指标差里长出来。指标差只回答“在已有点里哪一个更高”。候选集越同质，实验越“干净”，同时越不可能冒出结构不同的选项。于是方法越用越勤，方案空间越收越窄。
怎么研究
把一段时间里上线的实验按“候选之间的结构距离”编码：文案级、组件级、流程级、任务模型级。统计各档的数量和胜出率。若几乎全是文案级，说明生成步骤被跳过，而不是实验方法失败。对胜出实验回溯其想法来源；若来源全是上一轮胜出的微调，记录搜索是否在收缩。对照：同一问题先做小样本生成研究再进入 A/B，与直接抛两个现成稿，比较最终上线方案是否仍停在原候选集内。
边界
当问题已经收束到两个可实现、且结构完整的方案（例如两种合法的默认值），选择就是全部任务，A/B 不需要再生成。探索性多臂若把明显未完成的概念硬塞进流量，伤害的是用户，不是对“不生成”这一限制的克服。专家评审或设计工坊产生的方案在进入分流之前仍须做成可运行臂；未实现的草图不能假装已经在实验里被比较过。
怎么落地
- 开实验单时写明候选清单和“本轮不在清单里的问题”；后者走生成研究，不占用实验位。
- 禁止用“先随便做两个版本测”代替问题定义；没有独立于两稿的成功标准，就不要分流。
- 每个季度检查实验组合：若没有流程级以上的候选，先停测，补观察和原型。
- 胜出方案归档时附上未被测试的替代结构，避免下轮只从胜出版再分叉。