N1.09.33DoF panoramic video设计研究

全景素材天生只有三自由度,位移无法后期补出

别名: 360 视频 · 全景片 · omnidirectional video · equirectangular

概念解释

全景影片把一整圈像素贴在球面上,球心就是当初那台相机。头可以在球心里转动,这是全景视频(omnidirectional / 360 video)能给的全部运动。人往前探身、侧移、站起来,球面上的近物不会让出新的侧面——那些光线在拍摄时就不存在。位移无法在后期从一张等距柱状投影里解出来,这不是编码没做好,是几何上缺了其他视点。

双目全景(左右各一个球)只多了一点视差,并不能合成走路所需的第三、第四个视点。

机制

针孔相机在一个位置、一个朝向采集的是一个光线束。把多朝向拼成球面,补的是角,不是位置。人眼要在新位置看到正确画面,需要那条新光线上的辐射;被前景挡住的表面、物体侧面,当时没进镜头,任何重投影都在编造。

运行时面对探身只有两种诚实做法:球面跟着头走,近物没有视差,人感到「贴在罩子上」;或者球面钉在房间里,头一移,球面图像按错误透视拉伸。两者都不是六自由度场景。光场、多相机体积捕获或神经辐射场另拍了别的光线,那已经不是「把已有全景片升维」,是换了一种采集。

所以在六自由度头显上播全景片,旋转可以跟头,平移必须被拒绝或被明确降级,不能假装走得进去。

怎么研究

让人在全景片中自由看,再额外要求「往兴趣物走近一步 / 探身看桌底」,记录他们是否迈步、迈步后是否报告透视错误或临场破裂。对照材料用同一场景的体积捕获或实时渲染版本。

自变量:采集方式(单机位球面 / 立体球面 / 体积)、是否允许实际走动、兴趣物距离。 因变量:自发平移次数、探身后的不适或破绽报告、IPQ 一类临场量表上「空间存在」子项。

方法论注意:把全景片播在六自由度头显里,不等于素材拥有六自由度;实验条件要按采集来标,不要按头显型号来标。

边界

兴趣物都在几十米外时,头范围的平移视差本来就弱,缺位移不容易被发现。预计算的少量视点插值能骗过很小的探身,一旦步幅到半米,破洞和重影会出来。互动内容如果依赖走到物体旁边再伸手,全景片给不了可抓取的几何。直播全景和事后制作一样受单视点约束;能补的是分辨率和拼接缝,不是平移。

怎么落地

  • 把全景片当作可环顾的影片来设计:座位、观看朝向、章节,而不是当作可走入的房间。
  • 在支持位置追踪的设备上,把头的平移做成明确的拒绝(轻微阻力、画面提示「此内容不能走动」),不要让球面跟着漂却不解释。
  • 需要可走动的记录,改采集:多相机体积、光场、或在 CG 里重做,不要承诺「后期加六自由度」。
  • 验证:请人在片中对近处物体探身或迈一小步。近物没有让出侧面、或球面被拉变形,就说明位移没有被补出——这应当是预期,并在产品说明里写明。

延伸

  • 同组N1.09.1 偏航角会随时间漂移,需要一个重置朝向的入口 · N1.09.2 坐标原点的定义决定内容出现在人的哪一侧 · N1.09.4 位置追踪丢失需要有降级形态,而不是中断
  • 相邻N1.02 自由度 · N1.01 沉浸感与临场感
  • 站内检索360 video · omnidirectional video · motion parallax

同组卡片

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/handbook/N1.09.3