神经辐射场的触觉渲染

文献标题

Haptic Rendering of Neural Radiance Fields

文献信息

• 主题领域: 计算机图形学、虚拟现实、人机交互
• 关键词: NeRF, 触觉渲染, 神经辐射场, 3D场景重建, 噪声处理, 虚拟代理, 约束方法, 实时渲染

研究背景与问题

• 作者发现了哪些问题或挑战？

  • 当前基于神经辐射场（NeRF）的研究主要集中于提升3D场景重建质量和渲染效率，用户只能通过视角旋转观察模型，难以通过触觉交互。
  • 触觉渲染算法尚不支持与NeRF表示模型高效交互，面临的问题包括：
    1. NeRF隐式表示的噪声和几何不确定性。
    2. NeRF计算复杂度高，难以支持触觉设备的高刷新率需求。
    3. NeRF生成的密度场通常存在噪声和不稳定性。

• 为什么这个问题很重要？

  • 引入触觉交互可增强虚拟和增强现实中的沉浸感。
  • 触觉渲染已在外科手术训练、数字雕刻等领域发挥重要作用，但现有方法难以处理NeRF模型。

• 研究动机与相关工作

  • 传统触觉渲染主要用于网格、点云或隐式曲面，无法直接应用于NeRF模型。
  • 作者通过引用NeRF和触觉渲染领域的经典工作，并指出这些方法无法有效解决上述问题，为研究提供了动机。

解决方案

• 作者提出了哪些方法或解决方案？

  • 作者提出了一种基于概率分布的随机触觉渲染方法，能处理NeRF的噪声和不确定性。
  • 构建一种兼容NeRF表示的3自由度（3DOF）触觉渲染算法，使力可以直接在NeRF模型上进行计算。
  • 设计了一种选票式碰撞检测和接触信息的随机计算方法。

• 该解决方案的创新之处是什么？

  1. 首次将NeRF作为触觉渲染的标准数据表征。
  2. 引入随机方法处理NeRF模型的不确定性和噪声。
  3. 不需要对NeRF模型进行额外点云提取或转换为网格，新方法可以直接用于隐式密度场。

• 实施步骤是什么？使用了哪些关键技术？

  1. 碰撞检测：
     • 基于选票的碰撞检测，通过对虚拟代理采样，判断其是否与对象表面碰撞。
  2. 接触信息查询：
     • 使用代理的加权平均法确定碰撞点位置和法向量。
  3. 代理位置更新：
     • 使用约束优化方法更新虚拟代理的位置以避免穿透对象表面。
  4. 力的计算：
     • 根据虚拟代理与触觉接口点（HIP）之间的差值计算反馈力，采用弹簧模型。
  5. 整体管线：
     • 用户通过触觉设备操控HIP，代理根据新位置更新，并实现触觉和视觉的协调显示。

研究成果

• 取得了哪些具体成果？

  1. 实验设计与验证：
     • 在多个标准数据集上测试，包括Chair, Hotdog等NeRF模型，以及真实世界NeRF。
     • 验证了在噪声环境下方法的鲁棒性。
  2. 用户感知研究：
     • 招募志愿者测试触觉交互质量，结果显示新方法生成的触觉信息相比传统网格显示更平滑，且更符合视觉反馈。
     • 用户在区分几何模型（如圆锥、立方体）时成功率达到82%。

• 与现有解决方案相比，它有哪些优势？

  • 相较于传统基于网格的触觉渲染方法，本研究方法可以直接在NeRF模型上运行，减少了额外转换的计算开销。
  • 针对NeRF固有的密度噪声问题，算法提出了一套有效应对策略，使得触觉渲染更具可靠性和连续性。

• 实验或评估结果是什么？

  • 实现了稳定的触觉渲染体验，甚至在噪声较大的NeRF模型中也能成功感知力场。
  • 用户对使用NeRF直接触觉渲染的评价与使用原始高质量网格模型的评价相比无显著差异。

• 局限性与未来方向

  1. 局限性：
     • NeRF质量对方法性能影响显著，低质量的NeRF模型会对触觉体验造成不利影响。
     • 现有实现效率不足，未达到1kHz刷新率，设备存在轻微的滞后感。
     • 该方法目前仅使用几何信息，未结合颜色、材质等属性实现更复杂的触觉效果。
  2. 未来方向：
     • 优化系统性能，通过CUDA和多线程提升计算效率。
     • 扩展至支持6自由度触觉渲染。
     • 探讨NeRF模型中的非刚性物体的触觉交互方案。
     • 进一步研究视觉与触觉感知的协同作用，并开展更多用户实验。