X4.07.4Latent situation-awareness failure设计研究
情境意识的丧失往往在需要介入的关键时刻才被发现
别名: 潜伏态势丧失 · 接管暴露 · latent awareness loss
概念解释
潜伏的情境意识丧失(latent situation-awareness failure)是在自动化正常时不影响表面绩效,直到异常要求人判断或接管才暴露的认知缺口。任务成功不能证明监督者理解过程,因为自动系统可能一直替其维持结果。
机制
闭环自动化把人的错误模型与执行隔离,缺口没有即时反馈,因此长期潜伏。请求介入时保护层减弱,人的状态理解突然成为控制输入;此时再发现模式、环境或目标认知错误,已没有重建余量。低事故率由此可能掩盖脆弱恢复能力。
怎么研究
需在长时正常运行后插入需要不同诊断的异常,测量提示前情境查询、接管正确性、重建时间和未遂事件。只观察正常绩效或让人预知异常会严重高估能力。可用无危险冻结探针在部署前发现潜伏缺口。
边界
频繁打断检查会破坏主任务并造成疲劳,应按风险采样。自动化能安全处理异常时不必强迫人工介入,但仍需审计恢复与降级路径。情境意识分数高也不保证控制技能保持。
怎么落地
- 在正常运行中安排低频情境核对和模拟接管,确认不是仅靠自动化维持表面成功。
- 在退化早期逐步增加过程信息与参与,而非到临界点一次性交权。
- 追踪异常前模型正确性、稳定控制恢复和尾部失败,将潜伏缺口纳入安全评审。