L5.09.2success-streak overtrust设计研究
连续的成功会把信任推高到超出系统实际可靠度的位置
别名: 连胜过冲 · 成功串 · streak overshoot
概念解释
编程助手连续十二个函数都写对,第十三次把删表语句混进迁移脚本。十二次并没有改变它「大约两成会在脚本里闯祸」的基率,人的交托却已经按「它会写脚本」在走。连续成功会把信任顶到高于实际可靠度的位置(success-streak overtrust)。
过冲来自一串普通成功,不是来自一次毁灭性事故。事故是另一类事件。
机制
人用最近样本估频率。一串成功把窗口里的失败洗掉,估计跟窗口走,不跟长程基率走。界面还在给连胜加油:每次对都完整展示,错才出警告,于是窗口里的成功被编码得更密。Lee 与 See 的校准图上,这是估计沿最近经验向上漂;Muir 的更新若对近时加权,漂得更狠。
过冲的行为是扩大交托范围:从补全一行到改迁移脚本,从草稿到直接上生产。范围扩大发生在基率不变时,所以下一次失败往往落在刚扩大的那一层——不是系统突然变差,是人把任务抬过了它一直所在的水平。
怎么研究
控制基率不变,操纵可见成功串的长度,再让人选择下一题的交托范围(补全 / 改脚本 / 直接上线)。自变量:成功串长度、是否间歇插入一次小失败、是否出示长程基率。因变量:估计与基率的差、交托范围、在第 n+1 次失败上的惊讶。
必须保持基率不变。若成功串来自真的更稳的版本,测到的就不是过冲。
边界
基率本就极高、方差极小的任务上,连胜是证据而不是过冲。用户看得到长程计数(最近一百次的对错)时,窗口会被拉开,这条变弱。一次严重伤害把信任抽空,方向相反,不是过冲。没有全局正确信任,说的是跨任务刻度;这里说的是同一任务上被连胜抬高。
怎么落地
- 在连胜之后、扩大权限之前,出示该任务的长程基率,而不是「连续十二次都对」。
- 把高后果动作(上生产、改库)与低后果连胜隔开,不要用连胜当升级门票。
- 偶尔在成功流里插入该任务上的典型失败样本(演示或历史),打断窗口。
- 验证:连胜用户是否把下一题交到了你们基率撑不住的层级。是,过冲已经发生;看他们估计的成功率是否显著高于长程数字。