ARnnotate：用于采集3D手-物体交互姿态估计自定义数据集的增强现实接口

文献标题

ARnnotate: An Augmented Reality Interface for Collecting Custom Dataset of 3D Hand-Object Interaction Pose Estimation

文献信息

• 主题领域: 增强现实、3D手-物体交互姿态估计、数据集收集
• 关键词: 增强现实, 手-物体交互, 3D姿态估计, 数据集收集, 人机交互

研究背景与问题

• 发现的问题或挑战:

  • 当前的3D姿态估计数据集通常无法覆盖多样化的现实场景，限制了实际应用。
  • 手-物体交互中的遮挡难题使得数据标注在2D图像中变得困难，尤其是标注隐藏的手指关节。
  • 实验室级别设备的依赖限制了数据集收集的普遍性和用户操作的便利性。

• 问题重要性:

  • 3D手-物体交互姿态估计在智能监控、教育、工业指导以及混合现实接口设计等领域有重要应用前景。
  • 数据集性能直接影响深度学习网络的可靠性和适应性，对于实现用户现场定制场景至关重要。

• 研究动机与相关工作:

  • 先前的研究主要使用多摄像头和传感器进行3D数据收集，但缺乏用户友好的操作方式。
  • AR技术可以通过空间感知特性解决手-物体遮挡问题，同时提供简便的裸手跟踪和数据集创建功能。
  • 作者提出利用AR增强手-物体交互数据集收集，使其能够支持即时性和连续性。

解决方案

• 提出的方法/解决方案:

  • 设计了一个基于增强现实的交互式系统「ARnnotate」，支持用户轻松创建高质量的手-物体交互数据集。
  • 系统分为两个主要步骤:
    1. 建立与物理对象形状相符的虚拟边界轮廓，并通过裸手操作记录交互标签。
    2. 用户根据动画记录对物理对象进行操作，系统抓取第一人称视图图像和对应标签。

• 创新之处:

  • 使用AR技术消解手-物体遮挡问题，将图像收集与标签记录分离，确保标注精确性。
  • 通过多种创建工具（例如自由绘画和基本体操工具）生成适应物体几何形状的边界轮廓。
  • 提供视觉指引（如手势指示器与方向指示球体）帮助用户准确完成标注和数据创建。

• 实施步骤与关键技术:

  1. 边界轮廓创建：用户通过虚拟基本体或自由绘图创建虚拟边界轮廓。
  2. 标签记录：用户抓取虚拟物体并完成交互，系统记录物体和手的三维姿态。
  3. 图像记录：用户根据AR动画与物理物体进行交互，并生成关联图像数据。
  4. **数据处理：**包括轨迹平滑、时间偏移调整以及手标签校正以确保数据对齐。

研究成果

• 具体成果:

  • 提出了一个完整的AR系统工作流程，支持用户收集手-物体交互数据集。
  • 使用系统成功完成了4种物体的实验数据集收集，并取得高质量的训练结果。
  • 系统的用户界面设计经过优化，可直观且简便地支持普通用户操作。

• 与现有解决方案相比的优势:

  • 相较于依赖复杂硬件设备的传统方法，该系统性能成本更低，适合普通用户的即席数据集收集。
  • 有效解决了手-物体遮挡问题，同时显著提升了标注效率和质量。
  • 深度学习训练结果与基准数据集性能相当，证明了自定义数据集的实用性。

• 实验或评估结果:

  • 数据集标注精确性评估：
    • 平均物体平移误差为0.69cm；旋转误差为2.73°。
    • 手标注平均误差为0.85cm。
  • 深度学习模型性能:
    • 3D物体姿态估计平均精度为0.7073（IoU ≥ 0.5）。
    • 手势估算的平均精度也达到现有基准数据集水平。
  • 系统易用性评价：
    • 用户满意度评分（SUS）达90.67，用户反馈积极。

• 局限性与未来方向:

  • 局限性:
    • 当前系统主要支持单手与固定手势交互场景，复杂手势和双手交互尚未涉及。
    • 用户在面对复杂几何物体时创建边界轮廓的效率尚待提升。
  • 未来方向:
    • 引入物理接触点建模以支持复杂手势和双手交互。
    • 个性化推荐优化交互轨迹，以适应用户偏好。
    • 扩展到电话平台，提高数据收集规模，支持通用基准数据集的构建。

通过ARnnotate系统，普通用户可以轻松创建定制化的手-物体交互数据集，同时解决传统方法中面临的许多标注难题。这项研究有助于推动3D手势姿态估计领域的进一步发展，同时促进更加多样化的多领域应用。