C4.31.2Backlight and low-light keypoint failure设计研究

强逆光或过暗环境会显著降低骨架与手部关键点识别精度

别名: 逆光 · 过暗 · 关键点精度

概念解释

人站在窗前、灯在身后,或房间只剩一点夜灯时,骨架和手指关键点会从「能用」掉到「乱跳或消失」。逆光把身体剪成剪影,掌纹和指缝没有纹理;过暗让曝光拉满、噪声吞噬边缘。这是两种具体的、会显著掉精度的光照极端,不是泛泛的「光线要好」。强度与方向的一般依赖是上一层知识;这里是这两端如何毁掉关键点。

机制

逆光时自动曝光为保住窗户而把人压成黑块,或为保住人脸而让窗户爆成白洞,手往往落在两者之间的不可用区。剪影上没有用于关键点的局部特征,模型开始把肩当成肘、把袖口当成掌。过暗则是光子不够:增益升高,时间曝光变长,运动拖影把捏合变成一团。红外深度在过暗的可见光里通常还活着,但逆着太阳时红外饱和,深度同样死。精度下降先于完全跟丢:分数还在出,坐标已经不可信,连续调节会抖。用户看见的是「手还在画面里,滑块自己晃」。

怎么研究

用窗或大面积灯箱制造可重复的逆光,用减光制造过暗,对同一骨架/手部模型测关键点与真值(动作捕捉或标注)的像素或毫米误差、检出率和抖动。分别报告 RGB 与红外。加一组「逆光但补一盏面向人脸的灯」看精度能否救回。不要只用「手势还认不认得」当终点——关键点已经烂了,分类器可能还在碰运气。

边界

HDR 或主动补光的相机能把这两端往外推,但不能当成已经消失。夜间只用红外的产品,过暗的可见光不再是问题,太阳逆光仍是。深色皮肤与深色背景在过暗里对比更差,实验室浅肤色样本会低估。逆光对全身骨架和对手部的伤害不同:身体轮廓可能还在,手指已经没了,依赖手指的词汇比依赖挥臂的更早垮。

怎么落地

  • 安装时避免用户常用站位正对无遮挡的窗;必对窗时加面向用户的补光或改用红外为主的管道。
  • 关键点抖动超过产品阈值时,不要继续把坐标写入连续控件,当作精度失效而不是用户在抖。
  • 验收站到窗前和夜灯两种位置做捏合与刮擦:关键点误差应仍在可用带内。只在侧光办公室测过,不算过这两端。

延伸

  • 同组C4.31.1 视觉类手势识别的可靠性随环境光照强度和方向变化 · C4.31.3 障碍物或其他人体造成的遮挡会中断连续动作的追踪 · C4.31.4 环境条件的影响应在部署前用目标场景的真实光照测试,而非实验室理想光照
  • 相邻C4.13 全身姿态与骨架追踪 · C4.23 跟踪丢失的处置
  • 站内检索backlight · low light · keypoint error

同组卡片

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/handbook/C4.31.2