L5.09.2success-streak overtrust设计研究

连续的成功会把信任推高到超出系统实际可靠度的位置

别名: 连胜过冲 · 成功串 · streak overshoot

概念解释

编程助手连续十二个函数都写对,第十三次把删表语句混进迁移脚本。十二次并没有改变它「大约两成会在脚本里闯祸」的基率,人的交托却已经按「它会写脚本」在走。连续成功会把信任顶到高于实际可靠度的位置(success-streak overtrust)。

过冲来自一串普通成功,不是来自一次毁灭性事故。事故是另一类事件。

机制

人用最近样本估频率。一串成功把窗口里的失败洗掉,估计跟窗口走,不跟长程基率走。界面还在给连胜加油:每次对都完整展示,错才出警告,于是窗口里的成功被编码得更密。Lee 与 See 的校准图上,这是估计沿最近经验向上漂;Muir 的更新若对近时加权,漂得更狠。

过冲的行为是扩大交托范围:从补全一行到改迁移脚本,从草稿到直接上生产。范围扩大发生在基率不变时,所以下一次失败往往落在刚扩大的那一层——不是系统突然变差,是人把任务抬过了它一直所在的水平。

怎么研究

控制基率不变,操纵可见成功串的长度,再让人选择下一题的交托范围(补全 / 改脚本 / 直接上线)。自变量:成功串长度、是否间歇插入一次小失败、是否出示长程基率。因变量:估计与基率的差、交托范围、在第 n+1 次失败上的惊讶。

必须保持基率不变。若成功串来自真的更稳的版本,测到的就不是过冲。

边界

基率本就极高、方差极小的任务上,连胜是证据而不是过冲。用户看得到长程计数(最近一百次的对错)时,窗口会被拉开,这条变弱。一次严重伤害把信任抽空,方向相反,不是过冲。没有全局正确信任,说的是跨任务刻度;这里说的是同一任务上被连胜抬高。

怎么落地

  • 在连胜之后、扩大权限之前,出示该任务的长程基率,而不是「连续十二次都对」。
  • 把高后果动作(上生产、改库)与低后果连胜隔开,不要用连胜当升级门票。
  • 偶尔在成功流里插入该任务上的典型失败样本(演示或历史),打断窗口。
  • 验证:连胜用户是否把下一题交到了你们基率撑不住的层级。是,过冲已经发生;看他们估计的成功率是否显著高于长程数字。

延伸

  • 同组L5.09.1 合理的信任水平随任务与情境变化,不存在一个全局正确的信任度 · L5.09.3 信任不足的表现是用户重复手工核对,其成本常被忽略 · L5.09.4 展示典型失败案例能压低过度信任,代价是短期采纳率下降 · L5.09.5 信任由个人使用经验形成,无法靠声明与文档直接建立
  • 相邻L5.03 信任校准 · L5.10 首次失败对信任的非对称影响 · L4.03 自动化自满
  • 站内检索success-streak overtrust · recency in trust · overtrust

同组卡片

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/handbook/L5.09.2