L4.15.2trace the input-basis-result triple设计研究
可追溯要求同时记录输入、决策依据与执行结果,缺一即无法复盘
别名: 三位一体追溯 · input basis result · 缺一不可复盘
概念解释
出事之后要能走一遍:当时喂进去什么、凭什么做了那个决定、世界被改成了什么。输入、依据、结果要一起记(trace the input-basis-result triple)。缺输入,不知道是人的指令有病还是系统自己找的对象;缺依据,不知道是规则、模型采样还是人的放行;缺结果,不知道外部到底发生了没有。三缺一,复盘就会在接口上编故事。
权限使用账是这根链条上「谁用了哪张票」的一段,不是整根链。
机制
代理任务跨过提示、检索、工具、外部系统。每一跳都可能替换对象。只存最终产出,中间替换消失;只存工具日志,没有「人当时看见并批准了什么」;只存批准,没有外部是否真的改了。复盘要的是因果,不是任一端的快照。版本也要钉住:同一输入在模型更新后会给出另一结果,不记版本,依据就是漂的。
可复现问题在生成侧要存采样;在代理侧还要存工具返回,因为世界状态是决策依据的一部分。
怎么研究
做一次有害路径,然后让没在场的调查者只凭记录回答三问:输入是什么、依据是什么、外部结果是什么。比较记录缺输入、缺依据、缺外部核对。因变量:三问答对率、是否需要工程师翻多套系统、错误归因落在哪一段。自变量:是否含模型版本、是否含人的放行快照、外部核对是否自动。
三问答不全,追溯就不成立。能答但要拼四套日志,对人来说也不成立。
边界
纯本地、无对外的草稿,结果可以是内部快照。保留多久是下一问;这里先要求字段齐。档意识是当时人知不知道自己在哪一级,记的是另一类事实。多系统串联时,三段要在每段边界上各记一次,否则链会断在接口。
怎么落地
- 每次对外动作写一条三联记录:输入(提示/对象/人的放行)、依据(规则/模型版本/工具返回)、结果(外部系统的真值,不是产品内徽章)。
- 调查界面按对象把三联排在一屏,禁止把依据藏进只有工程师能 grep 的栈。
- 验证:把工程师拿走,给调查者一个对象名。三问有一问答不出,就缺一。故意不记模型版本再跑一次——依据问会先倒,用来证明版本是依据的一部分。