PColorizor：基于意境吻合诗词的中国古画再上色系统

文献标题

PColorizor: Re-coloring Ancient Chinese Paintings with Ideorealm-congruent Poems

文献信息

• 主题领域: 古代中国绘画数字化色彩复原
• 关键词: 古代中国艺术, 色彩复原, 诗画结合, 可视化分析, 文物保护, 深度学习, 用户交互

研究背景与问题

• 问题或挑战:

  • 古代中国绘画因保存不当而出现显著的色彩褪色问题，人工色彩复原过程耗时费力，但又是文化保护和传承的重要组成部分。
  • 当前自动化方法如图像风格迁移或色彩化技术应用于复原，但由于深度学习模型的“黑箱”问题，复原色彩的可信度难以评估。
  • 涉及的其他挑战还包括参考画作的搜集难度大和色彩演变难以追溯。

• 研究重要性:

  • 推动数字化虚拟色彩复原有助于延长古代绘画的文化生命。
  • 维护绘画所表达的文化情感“意境”（ideorealm），帮助观者重现绘画传递的历史意义。

• 研究动机与相关工作:

  • 中国古代绘画与诗歌之间的“意境一致性”传统关系为色彩参考提供了潜在线索。
  • 尽管已有许多基于深度学习的图像处理方法，但怎能有效融合诗歌与绘画的跨模态信息以协助色彩复原仍未充分探索。

解决方案

• 方法或解决方案:

  • 提出了一个名为PColorizor的交互式系统，通过结合深度学习模型（如CLIP）和新型可视化技术，以支持高效直观的色彩复原。
  • 利用“诗-画一致性”原则，从意境一致的诗句中获取与目标画作相关的参考画作。
  • 系统设计整合了查询构造模块、诗画一致性匹配模块、色彩分析模块、意境分析模块和用户引导的色彩化模块。

• 创新点:

  • 引入了基于CLIP的跨模态模型，挖掘诗句中隐含的色彩线索以辅助匹配参考画作。
  • 提出了一种基于“山形”隐喻的新型可视化方案，用于展示参考画作的时序色彩演变与分布。
  • 系统中包含自动和半自动色彩填充操作，支持用户交互以降低复原耗时。

• 实施步骤与技术:

  1. 跨模态学习: 使用CLIP模型对诗句和画作建立跨模态匹配，辅以构建的11,000对古代画作与诗句数据集进行微调。
  2. 色彩分析与可视化:
     • 创建“时间线视图”：结合山形隐喻、条形图和散点图以探索画作的色彩演化。
     • 引入热图显示深度模型对意境理解的可视化结果。
  3. 用户交互工具: 提供基于模糊选取区域、文本组合的搜索和参考画作的颜色转移功能。
  4. 实验与验证: 通过两个案例研究验证系统的实用性，与领域专家合作收集反馈。

研究成果

• 具体成果:

  • 构建了一个包含诗-画一致性模块、可视化界面以及用户引导的色彩化方法的完整交互系统，成功辅助画作色彩复原。
  • 创造了一种创新的时间轴可视化技术，从大量参考画作中提取可靠的色彩方案。
  • 通过案例分析，证明系统显著提升了色彩复原的效率和参考画作的搜索精度。

• 比较优势:

  • 与现有方法相比，PColorizor显著降低了人工操作需求，并通过诗歌意境提供传统方法难以挖掘的新增色彩线索。
  • 提供了动态、可探索的参考画作连接方式，弥补现有系统在处理大规模色彩参考时的劣势。

• 实验或评估结果:

  • 案例研究表明，使用系统后，专家能更高效地从参考画作中提取有用的色彩信息。
  • 系统能够准确地理解诗歌表达的不同类型意境，为色彩复原提供可靠的模型辅助。

• 局限性与未来方向:

  1. 数据规模限制: 当前数据集规模限制了支持更复杂意境表达的可能性。
  2. 模型局限性: 跨模态学习模型尽管效果显著，但对于罕见的诗-画意境组合依然存在准确率优化空间。
  3. 可视化扩展性: 在面对更多参考画作时，目前的可视化方案可能面临空间和交互复杂性问题。
  4. 未来改进方向：引入LLM（如ChatGPT）以增强对用户自定义描述的理解；通过更细粒度的分朝代展示丰富历史背景等优化用户体验。