L3.08.4synthesis cannot be pinned to a single source设计研究

综合多个来源得出的结论无法归给任一单一来源,需另行标示

别名: 综合结论 · 多源合成 · synthesis attribution

概念解释

「综合三份报告,本地区就业在回升。」三份报告各自写的是不同行业、不同口径,没有一份下过「本地区就业在回升」这句。把三份都挂在这句后面,像是有据,其实是模型做了一次无人认领的合成。综合不可单挂(synthesis cannot be pinned to a single source)要求:由多源推出来的结论必须标成综合 / 模型推断,而不能归给清单里的任意一条。

句级对应解决的是「哪句对哪篇」。综合句在所有篇里都找不到原句,对应本身就不该发生。

机制

人把角标读成「这句话是那篇说的」。合成句一旦挂上具体篇目,读者会按引用去那篇里找原话,找不到就以为自己没读懂,而不是意识到中间多了一层推理。生成器经常在摘要任务里做未经声明的归纳、比较、因果,这些操作的责任主体是系统,不是被归纳的材料。

多源挂靠还会制造虚假共识:三篇都被点名,看起来像独立重复,其实是一次合成。共识的观感来自清单长度,不是来自三篇是否同意该结论。

怎么研究

构造:三篇材料,各自不包含目标结论;模型输出含该结论并挂三篇。比较:挂成普通引用 vs. 标成「综合推断,以下材料为输入」。因变量:是否认为某篇说过这句、是否认为三篇一致、打开后找不到原句时的归因(我没读懂 / 系统在合成)。自变量:清单长度、结论与各篇的距离。

归因是关键。把找不到原句归于自己,就是单挂在误导。

边界

真正的引用综述(某篇自己写了「综合既往研究」)可以挂那一篇,因为命题在那一篇里。对用户指定的材料做抽取式罗列,不是综合。数学上由公理推出的结论有另一套责任链,不要和文献综合混用同一标记。这条不处理光晕,也不处理一键打开。

怎么落地

  • 输出里区分「某篇原话 / 转述某篇 / 由若干输入做出的综合」。综合用单独标记,禁止点成某一 DOI。
  • 综合标记下可列出输入材料,并写明「下列材料中均未直接给出该结论」。
  • 做不到区分时,不要输出综合句,只输出可单挂的抽取。
  • 验证:指着综合句问「哪一篇说了这话」。若答案是清单里的某一篇,而那一篇没有这句,单挂已经在冒充来源。

延伸

  • 同组L3.08.1 引用真实存在但并不支持所述内容,是比没有引用更隐蔽的失效 · L3.08.2 来源需能被一键打开核对,不可核对的标注只增加可信外观 · L3.08.3 标注粒度应到句或段,仅在文末列出来源无法定位对应关系 · L3.08.5 标注的存在会抬高用户对全篇的信任,包括其中未被标注的部分
  • 相邻L3.02 来源标注 · L3.03 幻觉与事实核查负担
  • 站内检索synthesis attribution · model inference mark · cannot cite a synthesis

同组卡片

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/handbook/L3.08.4