3DInkGen：通过生成式3D创作拓展传统水墨画艺术，面向初学者

文献标题

3DInkGen: Extending Traditional Ink-Painting Artistry with Generative 3D Creation for Novices

出版信息

• 主题领域: 基于生成式人工智能的传统中国水墨画风格的3D艺术创作。
• 关键词: 3D水墨画, 生成式人工智能, 风格迁移, 初学者创意工具, 文化遗产, 语义映射, 3D高斯点云, 用户中心设计, 数字艺术, 人工智能辅助创作。

背景与问题

• 问题/挑战: 将二维水墨画转化为三维数字形式的过程复杂，既需要3D建模的专业知识，也需要对传统水墨美学的深刻理解。现有工具由于技术门槛高且风格保真度有限，对初学者来说难以使用。
• 意义: 降低这些门槛可以使3D水墨创作更加大众化，促进更多人参与保护和创新传统艺术形式，并在动画、游戏和数字媒体等领域具有广泛应用。
• 动机与相关工作: 以往关于3D水墨画的研究主要集中于手动建模或自动风格迁移，但在空间一致性、风格保真度和非专家用户的可用性之间难以平衡。尽管基于人工智能的工具具有潜力，但缺乏针对初学者的用户中心设计。

解决方案

• 提出的方法: 3DInkGen 是一个基于人工智能的交互式系统，允许初学者通过将二维水墨元素转化为可编辑的三维形式，同时保留传统美学，来创作3D水墨艺术作品。
• 创新点:
  1. 提出一个四阶段工作流程（元素提取、形态生成、3D重建、风格迁移），实现直观的3D水墨创作。
  2. 实现了一种语义映射机制，将传统水墨画的视觉语言与生成式人工智能过程对齐。
  3. 展示了3D高斯点云（3D Gaussian Splatting, 3DGS）的应用，用于轻量化且风格一致的3D表现形式。
  4. 通过专家评估和初学者用户研究验证了系统的有效性，显著降低了技术门槛。
• 流程与关键技术:
  1. 元素提取: 用户通过基于SAM的分割从参考水墨画中提取二维元素。
  2. 形态生成: 使用带有水墨风格笔刷的基于草图的界面生成二维形态，并通过IP-Adapter增强风格一致性。
  3. 3D重建: 使用Trellis（3DGS框架）将二维形态转化为三维模型，呈现柔和、扩散的水墨效果。
  4. 风格迁移: 使用针对水墨美学设计的复合损失函数，将大师水墨画的风格特征应用于3D模型。

结果

• 具体发现:
  • 3DInkGen 将平均创作时间缩短至约2分钟每幅作品，其中风格迁移阶段耗时约94.6秒。
  • 在创意性（CSI: M=82.06 对比 63.75）、用户体验（UEQ: 吸引力和新颖性 p<0.001）和易用性（USE: p<0.001）方面显著优于基线系统。
  • 专家评估中，3DInkGen 的输出在所有维度上得分更高（例如，笔触：4.84 对比 3.77，p<0.05）。
• 相较基线的优势: 在可用性、创作自由度和风格保真度方面优于 InkBrush（基线系统）。专家指出其笔触纹理、色调渐变和结构一致性更为出色。
• 实验/评估:
  • 进行了包含16名初学者的用户研究和5名专业人士的专家评估。
  • 参与者分别使用3DInkGen和InkBrush创作3D水墨艺术作品，输出作品根据美学和与传统水墨风格的契合度进行评估。
  • 通过CSI、UEQ和USE问卷收集定量数据，并通过访谈和主题分析获取定性见解。
• 局限性与未来工作:
  • 风格迁移依赖于草图与参考图之间的结构相似性，限制了泛化能力。
  • 缺乏局部编辑功能，无法跨代组合元素。
  • 对专业用户和长期应用的评估有限。
  • 未来方向包括增强风格与结构的对齐、改进局部控制、扩大用户多样性，以及将框架适配于其他艺术形式。

总结

3DInkGen 是一个基于人工智能的系统，能够让初学者创作具有传统中国水墨画风格的3D艺术作品。通过结合语义映射、3D高斯点云和风格迁移技术，它简化了创作过程，同时保留了艺术风格的保真度。用户研究表明，该系统能够降低技术门槛，增强创作自由度，并生成高质量的输出。专家评估证实了其在保留传统水墨美学方面的有效性。尽管在泛化能力和局部控制方面仍存在局限性，3DInkGen 为3D艺术创作的普及化和文化遗产的保护提供了一个有前景的框架。