C4.13.1Skeleton accuracy versus occlusion and distance设计研究
骨架关键点估计的精度随遮挡与距离下降
别名: 骨架追踪 · keypoint confidence · 关节估计 · pose estimation error
概念解释
全身骨架把人压成一组关节坐标。这些坐标不是测量出来的物理点,是模型从图像里估的,遮挡和距离一上来,估计就漂。手臂挡躯干、两人重叠、家具切掉下肢、站远到只剩几十个像素,肘腕会跳、左右腿会换、消失的关节会被先验补出来。手部近场追踪看的是手指;全身骨架看的是肩髋膝。精度曲线不同,不能把手部捏合的数字搬到全身命令上。
机制
单目或深度姿态估计用的是可见像素加人体先验。遮挡让像素消失,先验就按“普通人这一帧该长什么样”去填,于是被挡住的手会粘在髋上,或穿过身体。距离把人缩小,关节在图像上的间隔掉到噪声量级,左右对称的腿最容易对调。时间上用滤波能把跳变抹平,也会把真的快动作抹掉。置信度分数往往随遮挡下降,但许多应用把低置信度关节仍送进手势识别,等于把幻觉当输入。多人时遮挡是彼此造成的,精度下降不再是“用户站位不好”能单独修的。
怎么研究
按遮挡类型和距离分箱报每个关节的位置误差和左右对调率,不要只报平均 MPJPE。遮挡要真实:自遮挡(举手挡脸)、物遮挡(桌子挡髋)、人遮挡(两人交叉)。距离沿径向扫。把低置信度关节丢掉 vs 仍送进识别,看手势错误如何变。金标准用多相机或光学标记,单相机自比会把同一套先验的偏差当成稳定。
边界
多相机或惯性服能撑过单视角遮挡,代价是部署。头戴看自己的手几乎不是全身问题。坐姿、躺姿的先验若仍是站立人体,下肢会乱编,轮椅使用者会系统性受害。黑暗中红外点云变稀,距离效应提前到来。儿童和宠物进画面会被强行套进成人骨架,出现额外的假关节。光照方向造成的“看起来像遮挡”的阴影,会触发同样的先验填充。
怎么落地
- 手势只用高置信度、未被遮挡的关节;低置信度时冻结或降级,不要让幻觉驱动命令。
- 验收按遮挡类型和距离分箱公布关节误差;只报实验室正对站立的平均误差,视为未测全身通道。
- 两人同框列为必测,不要用“请单独站好”当部署假设。