L1.05.3nominal intervention is not control设计研究

形式上的介入不构成实际控制

别名: 形式上的回路 · 空壳审核 · illusory human control

概念解释

界面上有「批准」,流程图上有一个人工节点,合规文档写着人在回路。这些是形式。实际控制要问三件事:人能否否决、否决是否真的阻止后果、人是否知道自己在承担这一否决。三件里缺一件,介入就是名义上的(nominal intervention)。名义回路把责任写到人身上,把能力留在机器身上。

有按钮,但按了只记一条日志,邮件照发——这是展览品,不是闸。

机制

组织需要「有人签字」来满足审计。实现这条需求的最短路径是加一个必须点的控件,不改执行路径。控件满足了审计对存在性的检查,不满足控制对因果性的检查。人很快学会:不点会超时代批,或点了否决会被上级问为什么挡效率,于是点变成仪式。

法律和伦理讨论里的 human in the loop 常停在「存在一个人」。HCI 要把它翻译成因果:人是不是差因。差因意味着没有这个人的放行,世界边界上的动作不会发生,而且这个人有可用的否决。仪式节点把差因换成了旁证。

怎么研究

画实际控制流,而不是产品说明里的流:否决之后世界有没有变、超时默认是什么、否决是否被绕过。对人:在不知情的情况下否决一次,看系统行为;再问「你的批准是必须的吗」。自变量:否决是否接到执行、超时策略、否决是否被考核惩罚。因变量:否决有效性、仪式化程度(不看内容的批准率)、责任归因。

自我报告「我有控制」与否决有效性经常相反。主终点必须是因果,不是感受。

边界

建议型系统本来就不声称控制,形式与实际一致,这条不适用。人只有建议权、机器有最终权,且这一点被写明时,名义问题变成了诚实标签问题。高频率审核导致的盖章是一种具体的仪式化机制,另有专条;这里覆盖的是更底层的「节点在图上、不在因果里」。监管验收若只检查节点存在,会把名义回路锁进生产。

怎么落地

  • 把批准接到执行开关上:没有有效放行,动作不发生。超时不得默许放行。
  • 否决必须是一等动作,有后果、有记录、不被当成故障。考核不得惩罚合理否决。
  • 对外和对内文案分开写:若人其实不能拦,就不要说人在回路,改说人在事后复核。
  • 验证:在预发让审核员否决,观察世界边界。动作仍发生,回路是假的。再抽一批批准,看有多少是在短于可读时间里点下的——那一批是仪式,不是控制。

延伸

  • 同组L1.05.1 介入点需在后果发生前 · L1.05.2 介入需要足够的信息与时间
  • 相邻L1.09 人在回路的介入点 · L4.15 责任归属与可追溯 · L4.07 行动前确认
  • 站内检索nominal intervention · illusory human control · rubber-stamp review

同组卡片

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/handbook/L1.05.3