视频透视把真实世界重新数字化,因此能让虚拟物遮挡真实物
别名: 视频合成遮挡 · VST 正向遮挡 · pass-through compositing · 数字化透视
概念解释
同一块虚拟面板如果走视频透视(video see-through, VST),窗可以被画没。真实世界先被摄像头采样成图像,再和虚拟层在帧缓冲里合成。像素可以被覆盖,所以虚拟物挡住真实物(video see-through occlusion)是合成器的默认能力,不是额外的光学奇迹。
这条说的是「虚挡实」:虚拟几何写在真实像素之上。反过来「实挡虚」仍然要环境深度,不是数字化自动附赠的。
机制
摄像头输出是一张可寻址的纹理。深度测试、alpha 合成、延迟着色都可以决定每个像素最终是虚拟色还是透视色。只要虚拟物的深度更近,对应方向上的真实纹理就不会被写出——窗、墙、路过的人,都可以在画面里消失。光学加法做不到的「挖洞」,在这里是一次普通的 framebuffer 覆盖。
能力附带代价:被挡住的真实信息从此只存在于合成器的选择里。合成规则写错、深度图有洞、或延迟让虚拟物的轮廓跟不上头动,挡住的就不再是你想挡的那一块,而是一块错位的补丁。数字化让遮挡变得可能,也让遮挡错误变得可像素级地假。
怎么研究
用合成对照:同一场景录一份无虚拟层的透视真值,再叠虚拟物,按像素比较遮挡掩模与人工标注或激光扫描的几何。近处放一只手、一杯水,看虚挡实的轮廓是否贴合物体。
操作:合成顺序、是否使用重建深度、虚拟物距离。 观测:掩模 IoU、轮廓偏移像素、被试报告的「挡错了」次数、伸手抓取时的落点偏差。
只问「好不好看」会把遮挡正确和画质混在一起。把掩模单独打分,才能知道这条能力有没有真的在工作。
边界
没有可用深度时,虚挡实仍然能做(虚拟层全局盖上),但实挡虚做不了,手会「沉进」虚拟物。手机外置摄像头的透视也能盖像素,近处视差会让挡住的位置和眼看的位置不是同一块。过曝或运动模糊的真实像素被盖掉之后,人会失去本来用来判断距离的高光和纹理。需要「透过虚拟物看见后面」的维修、手术指引,这条能力要克制着用,否则挡住的是任务对象本身。
怎么落地
- 任务需要一块实心板、一堵隐私墙、或让虚拟零件盖住真实残件时,优先走视频透视合成,不要指望光学加法。
- 默认合成规则写成「近者覆盖」,并单独测试虚挡实与实挡虚两条路径;不要用一次截图同时验收。
- 对必须保留的真实对象(手、工具、病人皮肤)开白名单,禁止虚拟层写进这些像素。
- 验证:在窗前放置虚拟面板,录透视视频。窗的高光应在面板轮廓内消失,手伸进面板前方时应反过来切开虚拟层。任何一边失败,合成顺序或深度源就还没接上。