事实性内容需可追溯到来源
别名: 事实可追溯 · 无出处断言 · source-grounded claims
概念解释
一段健康摘要写「早期筛查能降低死亡率」,句子干净,像教科书。读者若问「谁测过、哪一年、哪群人」,界面给不出任何指向。事实可追溯(factual traceability)要求:凡是被当作外部世界里发生过的事来写的内容,必须能指回一条独立于这次生成的记录——论文、数据集、法规、组织发布的文件。
意见、比喻、格式改写不在此列。它管的是「声称发生过」的那一类句子。
机制
语言模型在词序列上续写,不在证据图上行走。训练语料里事实与虚构、过期与现行混在同一分布,解码器优化的是局部连贯,不是「这句话有没有对应记录」。界面若把连贯段落排成正文,读者会按出版惯例去读:出现在说明文里的事实句默认有人核对过。
可追溯不是装饰。它把「模型说过」和「世界上有一份独立记录」拆开。没有这条拆分,事实句和修辞句占用同一视觉地位,读者只能用流畅程度当证据——而流畅正是解码器最擅长的。
怎么研究
准备一批含可核验事实的提示(年份、剂量、法律条款、统计),对比:无来源正文 vs. 每条事实句挂一条可打开的记录。让人判断哪些句子是在陈述外部事实,并尝试核验。自变量:有无追溯、事实密度。因变量:核验成功率、把无来源句当成已核验事实的比例、完成判断的时间。
把「模型内部知识」和「可指回的记录」分开编码。被试说「我记得好像是真的」不算追溯成功。
边界
创作性文本(诗、虚构角色、无对象的头脑风暴)没有外部记录可指,强行加来源是伪造。对用户自己刚贴进来的材料做改写、摘要,来源就是这份材料,不必再追到训练语料。实时变化极快且无稳定记录的对象(正在发生的比分)需要「无法追溯」而不是假来源。这条只论证事实句必须能指回去;指回去的那条记录是否真支持该句,是另一层失效。
怎么落地
- 把输出里的事实句和其余句子分开处理:事实句必须挂上可指向的记录,或改写成非事实(「常见说法是」)。
- 不允许用「根据资料」这种不指向任何对象的短语冒充追溯。
- 对无法追溯的事实请求,拒绝给出事实句,而不是先写再让用户自己查。
- 验证:抽十条被排成事实的句子,问「指回哪一条独立记录」。指不回去的每一句都是未完成的事实输出。