L1.01.5retry attribution ambiguity设计研究

用户无法通过重试区分是自己表述不当还是系统本身在波动

别名: 重试归因模糊 · 表述还是波动 · diagnostic confound

概念解释

结果不对,人能做的最便宜的实验是再试一次。可是这一试同时搅动了两件可能的原因:我没说清楚,或系统自己在抖。两次结果都差,不知道该改句子还是该换工具;一次差一次好,也不知道好的那次是改对了还是抽中了。重试的归因模糊(retry attribution ambiguity)是诊断实验本身不干净。

它不否认输出会变,它指出:变,让人没办法用「再来一次」完成排除法。

机制

科学上的排除需要一次只动一个因素。重试常常把「同一句话再跑」和「改几个字再跑」混在同一手势里——界面上两者都叫「发送」或「再生成」。即使字一个没改,采样噪声也在变,所以「控制变量」这件事在生成界面里默认不成立。

人仍会按日常因果启发式去填空:失败先怪自己(我提示写得不好),连续失败就怪系统(它不行),一次成功就强化刚才那句「秘诀」。这些启发式在确定系统里大致可用,在噪声源不被标出时会系统性地教错。结果是提示迷信:用户开始收集据说有效的固定说法,而那些说法只是和某几次幸运采样绑在一起。

怎么研究

给同一失败结果两种重试:A 冻结原文再采样,B 允许改写后再采样。事后问「问题出在你的表述还是系统」。再加第三臂:重试时显示「本次未改你的文字,只是另一次生成」。自变量:是否改写、是否声明采样、先前失败次数。因变量:归因选择、是否形成「必须用某句咒语」的信念、放弃率。

想看迷信是否形成,要追踪跨题的提示复用:把某次碰巧成功的句子搬到无关题目上。搬用率高,说明归因已经把噪声写成了技法。

边界

温度极低、输出被模式或校验钉死的任务,重试几乎只诊断表述,模糊会缩小。用户若能并排看到「同一原文的三次采样」,波动被直接看见,归因才分得开。客服式对话里用户本来就把责任揽到自己身上,模糊会被礼貌放大。这条不处理撤销,也不处理把再生成叫成刷新——那是标签问题,这里是实验设计问题。

怎么落地

  • 把「改写后再发送」和「原文再生成一次」分成两个动作。后者必须声明:文字没变,变的是生成。
  • 原文再生成时,把新旧结果并列,而不是覆盖。并列是给用户看噪声,不是给用户「选一个好看的」那么简单。
  • 失败文案不要默认「请换一种说法」。先提供一次不改字的再采样;仍差,再建议改写,并指出可能两个原因都在。
  • 验证:故意用同一提示出一次差一次好。问用户「你改对了吗」。若他们说改对了,而字根本没动,归因通道是坏的。

延伸

  • 同组L1.01.1 同一输入可能得到不同输出 · L1.01.2 界面惯例默认操作可重复且结果稳定 · L1.01.3 用户会把偶发正确误判为稳定能力 · L1.01.4 界面控件默认承诺同一操作得到同一结果,生成式功能违背这一承诺 · L1.01.6 撤销与重做在输出不可复现时语义失效,撤销后回不到原来那次结果 · L1.01.7 把重新生成呈现为「刷新」会暗示上一个结果只是加载失败 · L1.01.8 把可变性显式呈现为多个并列方案,比藏在单一结果背后更诚实
  • 相邻L2.01 自然语言指令的开放性及其代价 · L2.15 指令的歧义与澄清追问 · L1.11 非确定性输出的可复现问题
  • 站内检索retry attribution ambiguity · prompt superstition · confounded diagnosis

同组卡片

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/handbook/L1.01.5