通过生成式人工智能复兴壁画艺术：人工智能生成与手工创作再现的比较研究

研究背景与问题

• 问题或挑战：传统的手工创建虚拟现实（VR）壁画场景的方法既耗时又劳动密集，而且需要专业的艺术和数字建模知识。这种方法在面对复杂和大规模场景时难以扩展，因此限制了文化遗产数字化保存和传播的规模。
• 重要性：壁画是承载古代文明历史、宗教及艺术表达的重要文化遗产。然而，访问这些文物通常受到地理限制、维护周期或其复杂位置的影响，危及历史遗产的保护。VR为展示和保护这些遗产提供了与外界互动的新途径，同时提高了公众的参与度和理解能力。
• 研究动机与相关工作：尽管一些研究已经探索了通过手工方法将二维壁画转化为三维场景，但高专业性要求和人工干预使其成本和时间难以承受。生成式人工智能（Generative AI，简称GenAI）的最新进展为从二维壁画创建三维场景提供了自动化且可扩展的解决方案。然而，目前的应用往往无法达到保真性要求，特别是在保持原始颜色、纹理和细节方面存在挑战。

解决方案

• 提出的解决方案：作者提出了一种全面的自动化管道，用于从二维壁画生成三维沉浸式VR环境。该管道尽可能减少人为干预，同时坚持原始艺术风格和细节。
• 创新之处：
  • 使用多种生成式AI技术结合，自动完成单个对象提取、细化及整体场景构建。
  • 提出了一个迭代性的描述校准系统，通过GPT-4修正生成内容，引导Stable Diffusion生成接近原始壁画风格的图像。
  • 灵活的模块化架构使得该管道可扩展到其他类型的文化遗产以及场景。
• 实施步骤与关键技术：
  1. 对象分割与分类：使用Grounding Dino和Segment Anything模型（SAM）检测并分割壁画中的主要元素，并利用CLIP确认对象类别。
  2. 对象细化：通过Stable Diffusion结合ControlNet进行图像细化，同时保留原始风格的颜色和线条细节。
  3. 三维建模：使用TripoAI将二维建筑切片变为三维模型，同时增加植物和山峰的三维表现。
  4. 场景重建：根据原始壁画布局在Unity3D中安排对象，最终生成沉浸式VR场景。
  5. 背景生成：利用Stable Diffusion生成地面纹理并替换天空背景。

研究成果

• 具体成果：
  • 成功将敦煌壁画的佛光寺场景转换为沉浸式VR环境。
  • 用户体验研究表明，AI生成的场景在沉浸感、真实性、参与度及情感方面与传统手工场景相当。
  • 专家认可AI生成场景在三维效果上的卓越表现，并建议未来加入动态元素和美学增强。
• 与现有解决方案的优势：
  • 极高的可扩展性和方案效率，适用于大规模场景的快速重建。
  • 个体对象的视觉细节和真实性优于手工场景，尽管整体场景一致性有所欠缺。
• 实验与评估结果：
  • 定量分析显示，AI生成场景在用户体验主要维度上表现与手工场景无显著差异。
  • 参与者和专家指出了AI生成场景在模型精细度、光影效果以及细节处理上的优势，但需改善不一致的艺术风格及准确性。
• 局限性与未来方向：
  • 需要进一步提升对历史细节的表现能力，例如特定地区建筑的细节（如斗拱和藻井结构）。
  • 当前的场景布局仍需人工设计，以保证场景完整性。
  • 可考虑加入动态场景元素、丰富互动体验以及开发更强大的AI模型以提升自动化程度。
  • 系统可扩展性允许个性化定制壁画场景，未来研究可深入探索这一潜力。

通过以上分析，作者的研究提供了一个可行的框架，将生成式AI应用于文化遗产保护领域，同时提出进一步改善生成内容保真性与一致性的具体方向。