C4.24.2False-reject versus false-accept bias设计研究
低置信度时系统需要选择宁可漏判还是宁可误判的偏置方向
别名: 漏判 · 误判 · 偏置方向
概念解释
分数落在中间地带时,系统必须先选偏置方向:把这次观测当成「不算」(宁可漏判,false reject)还是当成「算」(宁可误判,false accept)。方向是政策,不是模型训练时碰巧停在的那个工作点。低置信度不会自己消失,只会被推向某一侧。跟踪丢失是没有分数可偏;这里讨论的是有分数、但不够干净时往哪边倒。
机制
ROC 或 DET 曲线上每一个阈值都是一种漏判–误判交换。空中手势的背景是持续运动,负样本极多,同一阈值在实验室干净动作上显得「准」,在客厅里会放出一串误触发。偏置朝漏判,用户会多做几次、觉得迟钝;偏置朝误判,用户会碰上自己没做却生效,觉得被抢。两条痛的质不同,不能用「总错误次数」加总后假装中立。中间地带还可以不立刻倒向任何一侧:推迟、要求第二通道确认、或改用更粗的手势。那也是一种偏置——偏置向「现在不决定」。
怎么研究
在含大量非手势动作的测试流上扫阈值,分别报告漏触发率和误触发率,并收集两类错误的主观代价评分。比较「固定阈值」「中间带推迟」「中间带要求确认」。任务里要有故意的背景动作(说话、整理头发),否则负样本不够,误判这一侧测不出来。把工作点画在 DET 上,不要只给一个 F1。
边界
词汇只有一个「下一步」且可轻易撤销时,朝误判偏一点往往比反复漏判更顺。不可撤销或会惊扰旁人的命令则相反。类别极度不均衡时,准确率会被多数类吞掉,不能用来选方向。用户群体若包含手部运动障碍,同一阈值下漏判会系统性升高,看起来像「偏置朝漏判」,其实是身体差异,要用别的通道补,而不是再抬阈值。
怎么落地
- 为每个命令写明低置信度时倒向哪一侧,或倒向「推迟」,禁止全库共用一个默许阈值而不写理由。
- 中间带不要静默吞掉:要么明确不触发并允许立刻重试,要么要一次轻量确认。
- 上线前用含背景动作的长录像扫工作点,分别验收漏判和误判,而不是只看一条准确率是否高于某数。