视频标注的增强现实装配教程

视频

DOI

我们提出了一个基于2D视频输入生成和可视化交互式3D增强现实教程的系统，允许在运行时控制视角。受装配规划启发，我们使用物体的3D CAD模型分析输入视频，以确定编码部件间阻挡关系的装配图。使用装配图使我们能够检测出仅从视频难以提取的装配步骤，并通过提供关于可移动部件的先验知识来普遍提升目标检测和跟踪效果。为避免信息丢失，我们将3D动画与2D视频的相关部分相结合，以展示无法从视频轻松提取的详细操作和工具使用。为进一步支持用户定位，我们使用输入视频的纹理信息在视觉上对齐3D动画与现实物体。我们开发了一个使用常见硬件的展示系统，使我们的成果便于家庭使用，并通过与传统视频教程的比较证明了该方法的有效性。