L3.03.2verification cost inversion设计研究

核查成本可能高于自行完成

别名: 核查成本倒挂 · 核验比自写更贵 · cheaper to do it yourself

概念解释

请系统写一篇带引用的文献综述。读完、逐条打开引用、对不上再回头改,花的时间超过自己从检索式拉出三篇正经综述再改写。生成把生产变便宜了,把确认变贵了。核查成本倒挂(verification cost inversion)指的是:核验生成物所需的劳动,可以高于从空白完成同一任务。

它不是「错句藏在对的段落里必须逐句查」那一层算法,而是整份交付物作为劳动对象时,确认是否划算。

机制

自己写的时候,证据是边写边收的:打开过的页面、记下的数字、还记得为什么用这一句。生成物把证据链剪断,只留下成品。核验者必须反向工程:这句话可能从哪来、这个数字像不像真的、这段结构是不是盖住了缺口。反向工程没有写作时的情境记忆,每一步都是新检索。

生成还扩大了要核验的表面积。人自己写通常不会凭空造出十二个看起来可引用的条目;生成器会。核验量按生成器的产量走,不是按用户原本愿意写的量走。

怎么研究

同一任务(综述一段、填一张表、写一封带事实的邮件),比较「从空白做」与「先生成再核验到同等可靠」。记录总时、检索次数、最终错误残留。自变量:生成物长度、事实密度、是否提供可打开出处。因变量:两种路径的时间比、核验后残留错误、被试是否中途放弃核验并直接采用。

关键比率是 t(核验到可靠) / t(自写到可靠)。大于 1 就是倒挂。只报「生成更快」会把未核验的交付算进生成的优势。

边界

格式改写、扩写用户已核验过的要点、翻译已确认文本,核验几乎是对照原文,不会倒挂。用户本来就不会自己做、也没有能力做的任务(跨语言的第一稿),比较基线不存在,「比自写更贵」没有意义,应改比「不使用」。有现成核验工具(编译器、单元测试、数据库查询)时,确认成本被压低,倒挂不易出现。这条比较的是整份任务的劳动,不处理用户会不会查、查不查得动。

怎么落地

  • 在生成入口标明:若输出将被当事实使用,你需要预留核验时间;不要用「秒级出稿」暗示任务已经完成。
  • 对事实密集的请求,默认短输出或先给提纲+出处列表,而不是一篇需要整篇反向工程的长文。
  • 提供对照式核验,而不是把人丢去「请自行查证」:并排原文与生成句、可点击定位。
  • 验证:找目标用户做一次真实任务,测「核验到自己敢交出」的时间,对比他们从空白做完的时间。前者更长且仍有残留错误,生成在这条任务上是净负债。

延伸

  • 同组L3.03.1 流畅表述不等于正确 · L3.03.3 高后果场景不应把核查完全交给用户 · L3.03.4 错误分散在正确内容之中时,核查必须逐句进行,成本接近自己重写 · L3.03.5 用户越不熟悉某领域越难核查,而这正是最可能求助系统的场景 · L3.03.6 表述的确定语气与内容的可靠程度之间没有关系 · L3.03.7 数字、日期与人名一类具体细节的错误最难察觉且后果最大 · L3.03.8 把核查责任写进免责声明并不减少错误的实际传播
  • 相邻L3.02 来源标注 · L3.08 生成结果的来源标注
  • 站内检索verification cost inversion · checking cost · effort of validation

同组卡片

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/handbook/L3.03.2