L1.11.3non-reproducibility flattens the learning curve设计研究
无法复现使用户难以形成稳定心智模型,学习曲线被拉平
别名: 心智模型无法稳定 · 学不会的界面 · flattened learning
概念解释
学会一个界面,是「我这样做,它那样回」能被再运行一次。生成把回弄成分布,再运行得到另一张脸,因果句写不完。人停在试探,进不了熟练。不可复现把学习曲线拉平(non-reproducibility flattens the learning curve):时间在增加,模型在原地。
偶发正确会让人高估能力,那是归因。这里是技能获取本身缺少可重复的练习试次。
机制
技能来自带反馈的重复。反馈若对同一动作给出不同结果,强化信号的方差淹没均值,策略更新接近随机。人要么放弃归纳(「它就是玄学」),要么归纳出迷信(固定咒语)。两者都不是产品想要的专家用户。
教学设计依赖例题可重做。生成教程里「按这样做」下一次走出不同结果,例题无法当作业。学习曲线在测量上变成一条水平线:第 n 次并不比第 1 次更会。
怎么研究
同一任务练若干次,比较确定工具与生成工具的策略收敛(是否形成可说出的规则、同等任务时间是否下降)。自变量:是否提供可钉住的成功样本、是否显示「这是另一次采样」。因变量:规则可说出性、时间曲线斜率、迷信提示的出现。
水平线要和天花板效应分开:已经完美的任务也会平,那是学会了。这里看的是仍高错率的平。
边界
探索性创作把不可复现当材料,学习目标不是「再做出同一张」,曲线的形状本来就不是下降时间。专业用户若在分布上工作(看一批样本再调参),他们学的是调参而不是单次映射,曲线可以在另一层下降。一次性格的闲聊不需要形成技能。这条管的是用户以为自己在学一种可重复操作的场景。
怎么落地
- 让至少一种成功结果可钉、可重放(快照,不是种子重抽),作为作业的标准答案。
- 教程步骤不要写成「你会看到这句话」。写成「你会看到一类结果,这里是三个例子」。
- 区分练习模式:练习模式降低温度或给出并排样本,好让人看见映射的范围而不是单点。
- 验证:让新用户连续做五次同一类任务,看第 5 次是否比第 1 次更少试探、更能说出「我该怎么写」。没有,学习曲线是平的。再听他们是否在背一句咒语——那是被不可复现逼出的假技能。