DeepTreeSketch: 从草图进行忠实的3D树木建模的神经图预测

文献标题

DeepTreeSketch: Neural Graph Prediction for Faithful 3D Tree Modeling from Sketches

文献信息

• 主题领域: 人机交互 (HCI)、计算机图形学 (CG)
• 关键词: 3D建模接口, 草图系统, 神经网络, 创意支持, 植物建模, 深度学习, 图生成网络, 用户交互, 3D树重建, 程序性生成

研究背景与问题

• 发现问题或挑战:

  1. 手动创建符合指定结构的3D树模型耗时且复杂，尤其对新手用户而言。
  2. 当前基于草图的建模方法无法准确捕捉树种的复杂分枝结构以及多样性。
  3. 用户在绘制树时缺乏交互建议支持，通常需要大量手动调整，易导致繁琐的交互体验。

• 问题重要性:
  高质量的3D树模型对于游戏、电影、景观设计等自然场景的视觉效果具有重要价值。然而，现有3D建模工具复杂且门槛高，亟需简单易用且高效的方法来满足用户对定制树模型的需求。

• 研究动机与相关工作:
  受基于学习的3D建模技术启发，提出通过深度神经网络学习树种结构的表现力，解决手工模型创建的挑战。现有方法如Markov随机场、基于规则的参数化生成、基于图形卷积网络等技术虽有一定能力，但在交互性和准确性上仍有不足。

解决方案

• 方法或解决方案:
  提出一个新颖的AI辅助草图系统 DeepTreeSketch，可将简单的2D手绘草图转化为形态真实且细节丰富的3D树模型。具体解决方案包括以下两部分：

  1. Tree Graph Prediction Network (TGP-Net): 模拟真实植物的生长过程，预测3D树分枝结构，通过学习大规模3D树模型数据的隐性表示，实现从草图到3D结构的转换。
  2. 程序化树叶与细枝生成模块: 利用空间占领算法，通过扩展分枝生成细致叶片，增强树的复杂性和外观细节。

• 创新之处:

  1. 提出首个将图学习与真实树生长模拟结合的神经网络，直接推理3D树结构。
  2. 提供精确和粗糙控制的绘制模式（分枝笔画与树叶笔画），在用户交互和自动模型生成之间实现良好平衡。
  3. 增加AI辅助建议功能，为新手用户提供视觉化的下一步绘制指导，显著减轻操作负担。

• 实施步骤与关键技术:

  1. TGP-Net网络架构: 使用图卷积网络(GCN)和多层感知器(MLP)分步预测节点位置，并逐级构建3D树骨架。
  2. 空间占领算法: 模拟树分枝竞争空间生长，生成符合给定形态的细枝和叶片。
  3. 交互界面设计: 包括草图绘制面板、参数控制模块及下一步建议功能，支持便捷的用户交互。

研究成果

• 具体成果:

  1. 开发DeepTreeSketch系统，可实时从简单2D草图生成逼真的3D树模型。
  2. 实现直观的用户交互接口，通过分枝笔画和树叶笔画完成精确到粗略的树形设计。
  3. 提供辅助建议功能，显著提高新手用户绘制效率和精确性。

• 比较优势:
  与现有方法相比，DeepTreeSketch在精确控制树形态和减少用户交互负担方面表现优秀。与基于概率或规则的生成算法相比，该系统更灵活、可高度自动化，并支持艺术化的树设计。

• 实验与评估结果:

  1. TGP-Net在预测3D树结构的精度上显著优于传统GCN和ResNet-50基线方法，表现为较低的Hausdorff距离和Chamfer距离。
  2. 用户研究结果显示系统易于学习与使用，创意支持评分显著高于对比系统。
  3. 绘制树种草图时，AI辅助功能减少平均时间近50%，并提升创建模型的合理性与平衡性。

• 局限性与未来方向:

  1. 当前系统仅支持静态3D树模型，未来计划扩展动态模拟如风动画和季节变化。
  2. 系统可能无法准确推理不完整草图的树种信息，或潜在生成局部不均匀的树形结构。
  3. 计划加入更多植株类型（如花卉）建模支持，并继续探索从真实照片或点云数据重建树模型的应用潜力。

附录

• 图像数据集的生成方式包括参数化L-System算法、多视图图像重建及点云重建。该树模型数据集共覆盖12种常见树种。
• 平均从草图生成完整3D树模型耗时约1秒。