DepthLab：移动增强现实中基于深度图的实时3D交互

视频

DOI

配备被动深度感知功能的移动设备无处不在，最近一些平板电脑和AR/VR设备也配备了主动深度传感器。尽管实时深度数据可以访问，但其在主流AR应用中的丰富价值尚未得到充分探索。深度UX的采用因执行简单操作（如检测交点或构建网格）的复杂性而受阻。在本文中，我们介绍了DepthLab，一个封装了多种基于深度的UI/UX范式的软件库，包括几何感知渲染（遮挡、阴影）、表面交互行为（基于物理的碰撞、Avatar路径规划）和视觉效果（重光照、3D锚定的聚焦和光圈效果）。我们将深度使用分解为局部深度、表面深度和密集深度，并描述了我们用于交互和渲染任务的实时算法。我们展示了DepthLab的设计过程、系统和组件，以简化并集中化交互式深度功能的开发。我们已向外部开发者开源了我们的软件(https://github.com/googlesamples/arcore-depth-lab)，进行了性能评估，并讨论了DepthLab如何加速移动AR设计师和开发者的工作流程。通过DepthLab，我们旨在帮助移动开发者轻松地将深度整合到他们的AR体验中，并放大他们创意愿景的表达。