K6.12.2misjudged automation capability envelope设计研究

驾驶员误判系统能力边界是模式混淆最常见的后果

别名: 能力边界误判 · overtrust · 误用自动驾驶 · automation misuse

概念解释

模式一旦被认错,最常见的下一步不是去改设置,而是按系统做不到的事来开:在辅助驾驶里当成可以不看路,在只能居中的功能里等待它自己变道,在施工区、匝道、无标线道路上继续把方向交给它。这是误用(misuse)和过度信任,不是「没看见开关」。混淆的顶格风险在于控制权本身认错;落到行为上,认错之后被用得最多的那条路,是把包络估大。估小(该用时不敢用)也会发生,但较少直接把车开进系统不会处理的冲突里。

机制

人用最近的成功来外推。一次平稳的居中会被读成「它会开车」,一次成功的变道会被读成「路口也会停」。自动化偏见让人少去复核;长期无故障再把监督强度打下去。界面如果用方向盘图标、蓝色光带、「自动驾驶中」这类整体性的词,会把局部能力说成整体能力,正好喂给这条外推。能力边界是负向信息——系统不会做的事——而负向信息在成功体验里没有自然的取样点,除非界面主动说。所以混淆的日常形态不是戏剧性的「完全不知道开没开」,而是「以为开了且以为它更全能」。

怎么研究

在模拟器里提供明确小于「全功能驾驶」的系统(只居中、不处理锥桶、不进匝道),观察人是否在边界外仍不接手,以及他们如何描述系统会做什么。

自变量:功能实际包络、界面用整体性还是分项能力措辞、先前成功体验的次数。 因变量:边界外仍脱手或仍不看路的次数、口头夸大的能力清单、第一次越界到冲突的距离。

事故报告与近误里,看陈述中的「我以为它会……」是否指向包络而不是指向开/关。实验室里把锥桶做得很明显会低估真实施工区的误判。不要把「信任量表高」直接读成误判——信任可以是校准过的;要看信任有没有超出实际包络。

边界

系统真的接近在该道路上的全功能、且 ODD 退出有足够提前量时,「估大」的空间变小,主要风险回到接管窗口本身。估小导致的弃用在体验上烦人,却较少以碰撞作为第一后果。专业测试司机被要求去探边界,他们的越界不是误判。没有驾驶自动化时,不存在这层包络;那是经典的车速与路况误判。机器人上「一次成功被推断为通用能力」是同类外推,但车载外推的对象是高速公路上的横向纵向控制,不是服务机器人会不会开门。

怎么落地

  • 用分项能力说话:「保持车道,不自动变道」「跟车,不处理静止障碍」,避免「自动驾驶中」覆盖未交付的行为。
  • 在系统不会处理的典型边界(匝道、施工、无标线)被接近时,把「这里它不会」做成一次短的、与开/关不同的提示,而不是等越界之后再告警。
  • 把一次成功之后的界面保持为分项状态,不要因为顺利就升级成更全能的外观。
  • 验证:列出本车明确不会做的三件事,看有多少驾驶员在只使用界面、不看说明书的情况下仍认为会做;这个比例就是包络被估大的暴露面。

延伸

  • 同组K6.12.1 不同厂商对同一自动化等级的功能边界定义并不统一 · K6.12.3 多通道状态提示比单一提示更能防止误判 · K6.12.4 系统能力的临时降级需要与正常关闭同样醒目地提示
  • 相邻K6.09 自动化状态表达 · X3.02 能力边界的表达 · L4.02 自动化偏见
  • 站内检索capability envelope · automation misuse · overtrust · mode confusion

同组卡片

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/handbook/K6.12.2