XR-Objects：增强物体智能与扩展现实

视频

DOI

将物理对象无缝集成作为交互式数字实体仍是空间计算的挑战。本文在XR背景下探讨增强物体智能（AOI），这是一种旨在模糊数字与物理界限的交互范式，赋予现实世界对象像数字对象一样交互的能力，每个对象都有潜力成为数字功能的门户。我们的方法利用实时对象分割和分类，结合多模态大语言模型（MLLM）的力量，无需对象预注册即可促进这些交互。我们以XR-Objects的形式实现AOI概念，这是一个开源原型系统，提供平台让用户以与对象相关的上下文方式与物理环境交互。该系统使模拟对象不仅能够传达信息，还能启动数字操作，如查询详情或执行任务。我们的贡献有三方面：（1）定义AOI概念并详细说明其相对于传统AI助手的优势；（2）详细说明XR-Objects系统的开源设计和实现；（3）通过各种用例和用户研究展示其多功能性。