L2.01.6magic-phrase superstition设计研究

同义表述得到不同结果,用户会误以为存在需要背诵的固定说法

别名: 口令迷信 · 固定说法幻觉 · prompt cargo cult

概念解释

上周「请用表格列出风险」得到了干净的表,今天「风险有哪些,排个表」得到一段散文。人不会先想到采样和释义敏感,而会记下:原来要说「请用表格列出」。口令迷信(magic-phrase superstition)是在同义句分叉之后长出来的民间理论——系统认的不是意图,是一句需要背诵、需要转发、需要收藏的咒语。

映射不稳定是前提;这条写的是人如何把那次碰巧的成功句式升级成操作规程。社区里流传的「必加这一句」就是它的社会化形态。

机制

操作条件作用只强化被奖励的那次表面形式。一次带「请用表格列出」的成功,会把整句当成辨别刺激,而不是把「要表格」这个槽当成刺激。随后人为了保住结果,开始原样复制,包括敬语、标点和当时纯属多余的从句。提示被文物化了。

社交传播加速文物化。分享截图时,成功句比失败句更容易出门;接收者看不到那句在别的温度、别的模型版本上已经失效。于是口令库越来越长,越来越像仪式,而真正可迁移的是结构槽位。开放输入没有把槽位做成可见对象,仪式就占领了那块空缺。

怎么研究

先让人经历一次「同义句、不同结果」(可用释义对加一次采样对照),再观察他们如何写下「下次该怎么问」的个人规则。编码规则是槽位规则(「要指定格式」)还是字面规则(「必须出现这五个字」)。自变量:是否并排展示同义句与结果、是否把成功句解析成可编辑槽位、社区口令是否作为干扰出现。因变量:字面复制率、换模型版本后的规则仍被遵守的比例、向他人转述时交出的是原句还是结构。

注意练习效应:连做三次释义,人会自己归纳出槽位。稀疏使用(隔天一次)才是迷信容易固化的生态。

边界

内部规范提示、系统角色句,本来就是要被原样复用的工程对象,把它们当口令并不迷信。代码补全、斜杠命令这类本来就靠保留字触发的入口,固定说法是语法。创意写作里收藏「这段前缀感觉对」接近风格工具,不必拆穿。这条针对的是任务型用户把偶然成功句当成能力开关。模型或产品一升级,口令先于能力失效,迷信的成本才爆发。

怎么落地

  • 成功之后把那次提示拆成可复用的槽,而不是提供「复制刚才那句话」。下次预填的是格式=表格,不是那九个汉字。
  • 当用户把旧句原样贴回来时,标明「意思相同的说法应得到同类结果」,并提供「用结构再跑一次」对照,拆穿口令。
  • 官方示例用同一意图的两三种说法并列,且结果结构保持同类,阻断「只有这一句灵」的归纳。
  • 验证:让人用自己的成功句改两个近义词再提交。若他们拒绝改、或改完后把变差完全归到「那两个词不能动」,口令已经取代槽位。隔周再问「你怎么让它出表」,听他们背的是原句还是「指定表格」。

延伸

  • 同组L2.01.1 开放输入不提示能力范围 · L2.01.2 用户不知道该怎么说是主要门槛 · L2.01.3 表述差异会导致结果差异 · L2.01.4 空白输入框不传达任何能力边界,用户的第一句话本质上是猜测 · L2.01.5 开放输入把失败的归因引向用户自己说得不好 · L2.01.7 开放性使功能无法被枚举,产品的能力清单不再可完整展示 · L2.01.8 开放输入的错误提示难以具体,因为系统并不知道用户原本想做什么
  • 相邻L2.07 提示历史与复用 · L2.03 示例与模板引导 · L1.01 概率性输出与确定性界面的错配
  • 站内检索magic-phrase superstition · prompt cargo cult · formulaic prompting

同组卡片

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/handbook/L2.01.6