MR物体识别与交互：融合异构源的物体情境信息

ubiquitous 计算环境中物体数量的增加需要有效的物体检测和识别机制，使用户能够直观地启动与这些物体的交互。虽然多种物体检测方法——包括视觉物体检测、 fiducial 标记、相对定位或绝对空间参考——都是可用的，但每种方法都有局限性，限制了其适用性。在本文中，我们提出ODIF，这是一种允许融合来自此类异构源的物体情境信息的架构，并且保持垂直和水平模块化，以允许扩展和升级据此构建的系统。此外，我们提出了BLEARVIS，这是一个建立在所提架构之上的原型系统，将基于计算机视觉的物体检测与射频到达角估计相结合来识别BLE标签物体。在我们的系统中，混合现实头戴式显示器的前置摄像头向基于视觉的物体检测模块提供实时图像流，而安装在头戴式显示器上的天线阵列从环境设备收集到达角信息。通过这种方式，BLEARVIS能够区分同一环境中视觉上相同的物体，并可以提供与这些物体相关的混合现实信息（数据和控件）叠加。我们包括了基于计算机视觉的物体检测和基于射频的到达角估计的实验评估，并讨论了射频和计算机视觉管道在不同 ubiquitous 计算场景中的适用性。这项研究可以作为起点，推动跨电磁频谱及其他领域的不同物体检测、识别和交互方法的整合。