形式上的介入不构成实际控制
别名: 形式上的回路 · 空壳审核 · illusory human control
概念解释
界面上有「批准」,流程图上有一个人工节点,合规文档写着人在回路。这些是形式。实际控制要问三件事:人能否否决、否决是否真的阻止后果、人是否知道自己在承担这一否决。三件里缺一件,介入就是名义上的(nominal intervention)。名义回路把责任写到人身上,把能力留在机器身上。
有按钮,但按了只记一条日志,邮件照发——这是展览品,不是闸。
机制
组织需要「有人签字」来满足审计。实现这条需求的最短路径是加一个必须点的控件,不改执行路径。控件满足了审计对存在性的检查,不满足控制对因果性的检查。人很快学会:不点会超时代批,或点了否决会被上级问为什么挡效率,于是点变成仪式。
法律和伦理讨论里的 human in the loop 常停在「存在一个人」。HCI 要把它翻译成因果:人是不是差因。差因意味着没有这个人的放行,世界边界上的动作不会发生,而且这个人有可用的否决。仪式节点把差因换成了旁证。
怎么研究
画实际控制流,而不是产品说明里的流:否决之后世界有没有变、超时默认是什么、否决是否被绕过。对人:在不知情的情况下否决一次,看系统行为;再问「你的批准是必须的吗」。自变量:否决是否接到执行、超时策略、否决是否被考核惩罚。因变量:否决有效性、仪式化程度(不看内容的批准率)、责任归因。
自我报告「我有控制」与否决有效性经常相反。主终点必须是因果,不是感受。
边界
建议型系统本来就不声称控制,形式与实际一致,这条不适用。人只有建议权、机器有最终权,且这一点被写明时,名义问题变成了诚实标签问题。高频率审核导致的盖章是一种具体的仪式化机制,另有专条;这里覆盖的是更底层的「节点在图上、不在因果里」。监管验收若只检查节点存在,会把名义回路锁进生产。
怎么落地
- 把批准接到执行开关上:没有有效放行,动作不发生。超时不得默许放行。
- 否决必须是一等动作,有后果、有记录、不被当成故障。考核不得惩罚合理否决。
- 对外和对内文案分开写:若人其实不能拦,就不要说人在回路,改说人在事后复核。
- 验证:在预发让审核员否决,观察世界边界。动作仍发生,回路是假的。再抽一批批准,看有多少是在短于可读时间里点下的——那一批是仪式,不是控制。