L4.13.1escalate rather than approximate设计研究

代理无法完成时应当上报,而不是用近似结果掩盖

别名: 不要用近似掩盖失败 · no silent degradation · 做不到就说

概念解释

代理走到做不到的一步,正确动作是停下来把失败交给人,而不是交一份「差不多」的成品把缺口抹平。上报而不是近似(escalate rather than approximate)把能力边界上的诚实当成失败处理的第一原则:近似会通过终局检查,因为它看起来像成功。

少发一封、编造一个数、跳过要权限的那步还声称任务完成,都是掩盖。

机制

生成模型被训练成总有输出。遇到工具失败、对象不存在、权限不够,续写一条像那么回事的结果,比返回错误状态更顺。产品若用「有产出」当成功,近似就被奖励。人接到的是看起来正常的错误输出——最危险的那一类,因为它不触发任何降级。上报是把状态从「完成」改成「需要人」,让回路重新出现。近似是把状态留在「完成」,把人关在回路外。

求助要写清卡在哪、要什么,是下一拍;这里先要求:不准用成品代替那一拍。

怎么研究

在工具失败、对象缺失、权限拒绝三种点上,比较:强制上报、允许模型续写近似、静默跳过。因变量:人是否发现任务未完成、有害近似被当作成品接受的比率、发现延迟。自变量:成功标准是「有文本」还是「工具契约满足」、近似是否带免责。

主终点是有害近似被接受。免责声明几乎不降低这个比率时,说明掩盖已经成功。

边界

用户明确要求「尽力、缺的用空白」时,近似是被授权的,但仍需标出哪些是空白。部分完成要说明做到哪、要不要清理,不是用一份完整模样的报告把部分藏起来。反复重试而不上报,是另一种掩盖,另说。

怎么落地

  • 成功标准接到工具契约:该写的对象没写、该调的工具失败,状态不得为完成。完成页不得出现未标记的填补。
  • 做不到时进入上报态,禁止再生成一份「看起来完整」的替代产出。
  • 验证:抽掉一个必需对象,看终局。若人当成功收下,就是近似在掩盖。把状态机改成契约失败即上报,收下率应掉到接近零——没掉,完成页还在装成功。

延伸

  • 同组L4.13.2 求助需说明卡在哪一步与需要什么,仅报告失败无法被处理 · L4.13.3 反复重试而不上报会消耗资源并推迟人的介入 · L4.13.4 部分完成的任务需说明已进行到哪一步以及是否需要清理 · L4.13.5 求助时机越晚,人需要回溯的执行历史越长
  • 相邻L1.06 AI 失败的优雅降级 · L4.04 接管与移交设计 · L3.03 幻觉与事实核查负担
  • 站内检索escalation · silent failure · graceful degradation

同组卡片

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/handbook/L4.13.1