Reality Proxy：通过抽象表示实现MR中真实物体的流体交互

DOI

在混合现实（MR）中与真实物体交互往往很困难，尤其是当它们拥挤、遥远或部分遮挡时，这会阻碍直接的选择和操作。我们注意到这些困难源于直接在物理物体上执行交互，输入与其物理约束紧密耦合。我们的关键见解是通过引入代理（proxies）——真实物体的抽象表示——来解耦交互与这些约束。我们在 Reality Proxy 中体现这一概念，该系统可在选择时将交互目标从物理物体无缝转移到其抽象表示。除了促进基本选择外，Reality Proxy 还使用AI为代理丰富对应物理物体的语义属性和层次空间关系，从而实现MR中新颖且此前繁琐的交互——如浏览、基于属性的过滤、导航嵌套组和复杂的多对象选择——均无需新的手势或菜单系统。我们展示了 Reality Proxy 在多种场景中的通用性，包括办公信息检索、大规模空间导航和多无人机控制。专家评估表明了该系统的实用性和可用性，表明基于代理的抽象为未来MR系统提供了一种强大且可推广的交互范式。