GrabAR：AR中感知遮挡的虚拟物体抓取方法

现有增强现实应用往往忽视真实手部与虚拟物体之间的遮挡问题，挑战主要源于精确深度获取的缺乏以及真实与虚拟深度的不匹配。本文提出GrabAR方法，直接预测真实与虚拟之间的遮挡关系，跳过深度获取与推理步骤。我们的目标是增强AR应用中手部（真实）与可抓取物体（虚拟）之间的交互。该方法以手部和物体的配对图像作为输入，设计了一个紧凑的深度神经网络来学习生成遮挡掩膜。为训练网络，我们构建了一个包含合成数据和真实数据的大型数据集。随后将训练好的网络嵌入到一个原型AR系统中，以支持虚拟物体的实时抓取。我们进一步在多种虚拟物体上演示了该方法的性能，通过两项用户研究将本方法与其他方法进行比较，并展示了丰富的交互场景，用户可以使用裸手抓取虚拟物体并直接操作它们。