视频透视可控但引入延迟与画质损失
别名: 视频透视 · VST · passthrough · 透视摄像头
概念解释
摘下头显看墙上的秒针,再戴上透视,秒针会晚一拍。现实先被摄像头采集成帧,再经处理画到屏幕上,这一条通路叫视频透视(video see-through)。画面亮度、裁切、叠加都可以在像素里改,这是「可控」;代价是每一帧都晚到,并且已经过采样、降噪、压缩,不再是落到视网膜上的那束光。
可控指的是合成流水线握着现实图层,不是指延迟或锐度可以被设计成零。
机制
光子到达 CMOS 之后要走曝光、读出、ISP、合成、扫描输出。任一段都是缓冲:全局快门仍要等一帧;卷帘快门让竖直边缘在转头时倾斜;时间滤波把运动拖成残影。头一动,真实世界的更新晚于前庭信号,这是一条独立的运动到光子路径,加在虚拟层的渲染延迟之外。人用来补偿的是「画面在动」,不是「我看见了光子」——补偿有上限,超过之后是发飘、对不齐、伸手抓偏。
画质损失来自同一条链的另一个出口:分辨率被镜头与传感器切开,颜色被自动白平衡改写,压缩把平坦墙面打出色块。这些失真在静止时或许能忍,一转头就和延迟叠在一起,被读成「这不是我的房间」。
怎么研究
把带毫秒读数的计时器放在头显前,同时用外置高速相机拍裸眼与透视画面,对齐同一事件的到达时刻,得到透视通路的端到端延迟。画质用侧视的静止场景做对读:同一墙面、同一光源,比较噪声、锐度、色偏。不适用 SSQ 或 VRSQ 在「透视开、虚拟层关掉」的条件里单独采,以免和纯虚拟运动搅在一起。
自变量:曝光时间、合成缓冲帧数、头动角速度、场景空间频率。 因变量:事件到达时差、抓取落点误差、主观「发飘」评分、静态画质的平均意见分。
这类测量用来决定精细对位任务(把虚拟尺贴上真实边缘)能不能交给透视,而不是用满意度总分把延迟藏过去。
边界
一体机透视已经比外接摄像头方案短得多,但「短」不是「无」。对延迟不敏感的浏览、远距离观看,画质损失比延迟更先被抱怨。坐姿、头动很少的桌面任务会把延迟藏进可接受区;站起来一转,同一套参数就露馅。弱光下 ISP 加长曝光,延迟和噪声一起恶化,实验室日光灯下的数字不能外推到夜间走廊。前庭敏感的人会在别人觉得「还能用」的延迟上先出现症状。
怎么落地
- 把需要对准真实边缘的操作标成延迟敏感:贴合、测量、近处抓取。这些路径上先测透视延迟,再决定要不要做,不要用演示片里的静止构图代替。
- 提供现实图层的亮度与锐度调节;默认值按目标场所的光照标定,而不是按宣传片的室内灯光。
- 转头或快速移动时,优先保证透视帧按时到达,而不是在同一帧里塞更多后处理。
- 验证:让人用透视去点墙上的一颗真实图钉,再裸眼点一次;落点系统性偏到头动方向,就是延迟在拖指向。另取一张透视静帧与照片并排,标出不可接受的色块与模糊。