L4.13.1escalate rather than approximate设计研究
代理无法完成时应当上报,而不是用近似结果掩盖
别名: 不要用近似掩盖失败 · no silent degradation · 做不到就说
概念解释
代理走到做不到的一步,正确动作是停下来把失败交给人,而不是交一份「差不多」的成品把缺口抹平。上报而不是近似(escalate rather than approximate)把能力边界上的诚实当成失败处理的第一原则:近似会通过终局检查,因为它看起来像成功。
少发一封、编造一个数、跳过要权限的那步还声称任务完成,都是掩盖。
机制
生成模型被训练成总有输出。遇到工具失败、对象不存在、权限不够,续写一条像那么回事的结果,比返回错误状态更顺。产品若用「有产出」当成功,近似就被奖励。人接到的是看起来正常的错误输出——最危险的那一类,因为它不触发任何降级。上报是把状态从「完成」改成「需要人」,让回路重新出现。近似是把状态留在「完成」,把人关在回路外。
求助要写清卡在哪、要什么,是下一拍;这里先要求:不准用成品代替那一拍。
怎么研究
在工具失败、对象缺失、权限拒绝三种点上,比较:强制上报、允许模型续写近似、静默跳过。因变量:人是否发现任务未完成、有害近似被当作成品接受的比率、发现延迟。自变量:成功标准是「有文本」还是「工具契约满足」、近似是否带免责。
主终点是有害近似被接受。免责声明几乎不降低这个比率时,说明掩盖已经成功。
边界
用户明确要求「尽力、缺的用空白」时,近似是被授权的,但仍需标出哪些是空白。部分完成要说明做到哪、要不要清理,不是用一份完整模样的报告把部分藏起来。反复重试而不上报,是另一种掩盖,另说。
怎么落地
- 成功标准接到工具契约:该写的对象没写、该调的工具失败,状态不得为完成。完成页不得出现未标记的填补。
- 做不到时进入上报态,禁止再生成一份「看起来完整」的替代产出。
- 验证:抽掉一个必需对象,看终局。若人当成功收下,就是近似在掩盖。把状态机改成契约失败即上报,收下率应掉到接近零——没掉,完成页还在装成功。