Reality Promises：基于不可见移动机器人实现混合现实中的虚实解耦幻觉

DOI

人类持续地操纵环境中的物体。然而，混合现实系统在实现物理场景的无缝操纵方面存在不足，将体验局限于虚拟效果。本文提出了Reality Promises概念，这是一种混合现实幻觉，可以在仅虚拟性能够提供的方式下操纵场景，同时秘密地将虚拟操纵传播到物理现实。通过将虚拟操纵模式与物理操纵模式解耦，Reality Promises创造出使用神奇力量或奇幻生物瞬间操纵物理场景的幻觉。在用户不知情的情况下，我们的系统控制一个移动机器人，在动态的虚实解耦和重耦点之间操纵物理物体。为了使机器人物理不可见且物体可交互，我们引入了一种机器人感知的3D高斯溅射栅格化、着色和动画系统，在需要时将与局部空间对齐的溅射渲染到用户的透视视图中。我们系统地推导出了提供连贯端到端用户体验的交互协议，例如凭空使物体具象化或将用户或角色引入了虚拟力应用于物理物体。