C4.31.2Backlight and low-light keypoint failure设计研究
强逆光或过暗环境会显著降低骨架与手部关键点识别精度
别名: 逆光 · 过暗 · 关键点精度
概念解释
人站在窗前、灯在身后,或房间只剩一点夜灯时,骨架和手指关键点会从「能用」掉到「乱跳或消失」。逆光把身体剪成剪影,掌纹和指缝没有纹理;过暗让曝光拉满、噪声吞噬边缘。这是两种具体的、会显著掉精度的光照极端,不是泛泛的「光线要好」。强度与方向的一般依赖是上一层知识;这里是这两端如何毁掉关键点。
机制
逆光时自动曝光为保住窗户而把人压成黑块,或为保住人脸而让窗户爆成白洞,手往往落在两者之间的不可用区。剪影上没有用于关键点的局部特征,模型开始把肩当成肘、把袖口当成掌。过暗则是光子不够:增益升高,时间曝光变长,运动拖影把捏合变成一团。红外深度在过暗的可见光里通常还活着,但逆着太阳时红外饱和,深度同样死。精度下降先于完全跟丢:分数还在出,坐标已经不可信,连续调节会抖。用户看见的是「手还在画面里,滑块自己晃」。
怎么研究
用窗或大面积灯箱制造可重复的逆光,用减光制造过暗,对同一骨架/手部模型测关键点与真值(动作捕捉或标注)的像素或毫米误差、检出率和抖动。分别报告 RGB 与红外。加一组「逆光但补一盏面向人脸的灯」看精度能否救回。不要只用「手势还认不认得」当终点——关键点已经烂了,分类器可能还在碰运气。
边界
HDR 或主动补光的相机能把这两端往外推,但不能当成已经消失。夜间只用红外的产品,过暗的可见光不再是问题,太阳逆光仍是。深色皮肤与深色背景在过暗里对比更差,实验室浅肤色样本会低估。逆光对全身骨架和对手部的伤害不同:身体轮廓可能还在,手指已经没了,依赖手指的词汇比依赖挥臂的更早垮。
怎么落地
- 安装时避免用户常用站位正对无遮挡的窗;必对窗时加面向用户的补光或改用红外为主的管道。
- 关键点抖动超过产品阈值时,不要继续把坐标写入连续控件,当作精度失效而不是用户在抖。
- 验收站到窗前和夜灯两种位置做捏合与刮擦:关键点误差应仍在可用带内。只在侧光办公室测过,不算过这两端。