混合现实中视觉触觉幻觉的场景响应性

文献标题

Scene Responsiveness for Visuotactile Illusions in Mixed Reality

文献信息

• 主题领域: 混合现实 (Mixed Reality)中的视触幻觉和场景响应性
• 关键词: 混合现实, 视触一致性, 空间计算, 场景互动, 压缩现实, 消隐现实, 虚实融合, 场景编辑, 虚拟交互

研究背景与问题

• 作者发现的问题或挑战：

  1. 当前的混合现实系统虽然能够将虚拟内容融入物理场景，但在扩展视觉幻觉以实现真实的环境操控方面能力不足。
  2. 缺乏能够模拟虚拟动作影响物理场景的高保真视觉幻觉。
  3. 如何在不影响物理真实的情况下，提供触觉和视觉之间一致性的交互体验。

• 研究动机与重要性：

  1. 实现虚实融合的场景响应性，允许用户或虚拟角色在混合现实情境中操控物理物体。
  2. 为游戏、远程交互和娱乐等应用场景提供更具沉浸感和互动性的体验。
  3. 克服现已有解决方案在物理和虚拟内容之间的视觉一致性与互动一致性上的不足。

• 相关工作：

  1. 场景一致性：增强现实中关于遮挡、碰撞和光影一致性的技术[AR、MR渲染技术]。
  2. 场景编辑：消隐现实或增强现实编辑中虚构物理物体替代的研究。
  3. MR环境中的场景互动：探讨语义一致性下虚拟角色的行为和虚拟内容在物理场景中的适应。

解决方案

• 作者提出的方法或解决方案：

  1. 场景响应性（Scene Responsiveness）：通过视频透视式混合现实设备实现视觉幻觉，使虚拟动作似乎影响物理场景。
  2. 对象虚拟化技术：实时切换物体的现实状态，将物理对象隐藏并用虚拟副本替换。
  3. 构建两类幻觉体验：
     • Daydreaming类型：物体在视觉上虚拟化并通过“对象规避”和“重新物理化”防止触觉不一致。
     • Copperfield类型：类似魔术师的消失与重现幻觉，通过跨对象的重新物理化强化视觉触觉一致性。

• 创新之处：

  1. 提出了一种新的视觉幻觉体系，使虚拟内容能够与物理对象连续互动。
  2. 达到高保真的视触一致性，确保用户难以察觉视觉与物理真实的断开。
  3. 基于多层空间计算和遮光架构，实现动态遮挡和光影一致性。

• 实施步骤与技术：

  1. 系统架构：
     • TwinBuilder组件：生成数字表示，通过扫描与语义注释构建空间和对象的双胞项。
     • RealityToggle组件：实现对象遮盖、深度一致性渲染以及光影处理。
     • Spielberg组件：控制虚拟角色的动作，处理用户与环境的互动。
  2. 使用Unity引擎集成物体模型，通过导航网格和动画系统优化角色与场景的交互。

研究成果

• 取得的具体成果：

  1. 在视频透视混合现实设备中，成功实现了高保真的视觉幻觉，虚拟对象与物理场景的深度和光影一致。
  2. 两种幻觉类型（Daydreaming和Copperfield）的设计展示了复杂互动与故事场景的可能性。
  3. 用户研究显示该体系可以制造令人信服的“视觉触觉一致性”。

• 与现有解决方案的对比与优势：

  1. 提高了场景响应的沉浸感，允许虚拟角色与物理场景语义一致地互动。
  2. 克服了传统混合现实中的视觉切割与触觉不一致的问题。

• 实验或评估结果：

  1. 在20名实验参与者中，18人被成功欺骗，相信视觉幻觉可以真实地操控物理物体。
  2. 用户对虚拟化和重新物理化过程的视觉一致性评价较高，但仍有改进空间。

• 局限性与未来方向：

  1. 当前的3D模型扫描技术存在几何失真和摄影测量精度的不足。
  2. 隐藏物体在用户视线中移动时可能产生视觉伪影，需优化动态遮挡技术。
  3. 未来可探讨基于神经辐射场（NeRF）的更高精度场景建模方法以及对象跟踪。

总结：本研究为混合现实领域提出了一个新的视觉幻觉框架，并展示了其潜在的应用价值，同时指出了改进方向，为后继研究铺设了技术基础。