Q3.04.3Local A/B optima mask structural problems设计研究
局部最优会掩盖结构性问题
别名: 局部最优 · 爬山实验 · 结构问题被掩盖
概念解释
在错误的信息结构或错误的任务模型上反复比较按钮文案、颜色、顺序，实验仍可稳定产出“胜者”。这个胜者是局部最优：在当前结构的小邻域里指标更高，结构本身的错误——找不到入口、任务被拆错、关键能力不存在——因为从未进入候选，也就从未被证伪。局部胜利还会提供停止搜索的理由：指标在涨，结构问题看起来像已经处理过。掩盖不是统计失效，而是搜索半径太短。
机制
每次实验沿已实现界面的梯度走一小步。完成率、点击率对文案和对比度敏感，对“用户根本不在这条任务里”不敏感——不在的人进不了样本的成功路径，也拉不动该路径上的对比。胜出被发布后，下一轮从新的局部再出发，形成爬山。山脊可以很高，整座山却坐在错误的谷地：例如把注册墙优化到转化最好，而真正的结构问题是未登录就无法完成核心任务。组织叙事接着把连续小胜写成可用性进步，结构缺陷从议程上消失。
怎么研究
把实验胜出与独立的任务级失败清单对照：若主路径失败位置连续几个季度不变，而实验指标持续上升，标记为局部掩盖。编码每个实验所动的层级（像素、组件、流程、任务模型），看失败清单里的结构项是否从未成为臂。可用纸面或低保真原型把一个结构替代方案放进小样本，不必先做成完整臂；若小样本上主失败消失，而线上局部实验从未触及该失败，即可演示掩盖。
边界
当结构已经被独立研究验证、剩余的是表达和默认值，局部实验是合适的精炼，不是掩盖。多业务线共用的底层能力缺失，单条产品线上的 A/B 本来就看不见，需要跨产品的任务审计，而不是更多按钮实验。局部最优在短期指标上可以是真的更好，否认小胜没有意义；要否认的是“小胜等于结构已解决”。
怎么落地
- 每个实验申请对照当前的结构失败清单：清单上的项不在候选里，就不得用该实验关闭那条失败。
- 连续三轮只动文案或颜色且主失败位置不变时，冻结该类实验，先做结构方案。
- 发布局部胜者时在报告里写“未处理的结构问题仍是 X”，避免胜利摘要覆盖失败清单。
- 用一次脱离当前结构的原型（不同任务分解或入口）做小样本；主失败若只在原型上消失，把资源从爬山改到结构。