不让任何像素掉队：填补动漫着色中的空白

文献标题

No Pixel Left Behind: Filling Gaps in Anime Colorization

出版信息

• 主题领域：用于动漫制作流程中数字绘画的人工智能工具。
• 关键词：动漫上色、缺口检测、深度学习、创意支持工具、用户研究、AI辅助、专业工作流程、人机协作、生产管线、视觉质量。

背景与问题

• 问题/挑战：在动漫上色流程中，小型未上色区域（“缺口”）难以检测和填充，需要重复的人工操作。现有工具未能充分解决这一问题。
• 重要性：这些缺口影响视觉质量和生产效率，在专业工作流程中导致昂贵的返工。解决这一问题可以降低人工成本并提升严格质量标准的遵守程度。
• 动机与相关工作：此前研究探索了自动上色方法和人工智能驱动的创意工具，但普遍忽略了动漫制作中特定的缺口填充挑战。本文基于这些研究成果，采用领域特定的方法解决缺口填充问题。

解决方案

• 提出的方法：GapFill，一种专门用于检测和填充动漫上色流程中小型未上色区域的工具，集成了基于深度学习的颜色预测和用户友好的交互技术。
• 创新点：
  1. 使用圆形标记自动检测并高亮未上色的缺口。
  2. 基于深度学习的颜色预测，利用动漫图像的局部上下文和平面颜色特性。
  3. 交互功能包括弹出放大、圆内颜色校正以及建议颜色的批量应用。
  4. 通过人机协作设计原则实现与专业工作流程的无缝集成。
• 流程与关键技术：
  • 使用基于广度优先搜索（BFS）的分割方法检测缺口，并通过可调阈值高亮显示。
  • 使用U-Net模型预测颜色，输出邻近区域的可能性图。
  • 通过拖放颜色选择和AI建议颜色的批量应用实现手动校正。
  • 通过结构化任务和专业上色师的用户研究评估可用性和性能。

结果

• 具体发现：
  • GapFill在缺口填充任务中显著缩短了任务完成时间（任务B1：45.15秒 vs. 57.69秒；任务B2：51.91秒 vs. 66.27秒），并消除了遗漏的缺口。
  • 在未见数据集上的预测准确率为81.68%，优于简单基线（37.02%）。
  • 每个补丁的平均推理时间：74毫秒（基于NVIDIA RTX 6000 Ada Generation）。
• 相比基线的优势：
  • 与传统工具如Black Light Method和Leftover Pen相比，任务完成速度更快，缺口检测和填充效果更高。
  • 通过直观交互显著提高可用性，减少人工操作。
• 实验/评估：
  • 对13位专业上色师进行用户研究，比较GapFill与基线工具在三项任务中的表现（从零开始上色、缺口检测与填充、自动颜色预测评估）。
  • 评估指标：任务完成时间、遗漏缺口数量、主观可用性评分及定性反馈。
• 局限性与未来工作：
  • 在细节区域（如瞳孔和密集缺口）存在准确性问题。
  • 需要与现有工具如Black Light Method集成。
  • 未来方向包括提升预测准确性、处理抗锯齿线稿以及基于感知质量重新定义准确性指标。

总结

本文介绍了GapFill，一种旨在解决动漫上色流程中小型未上色缺口挑战的工具。通过结合自动缺口检测、基于深度学习的颜色预测以及用户友好的交互技术，GapFill显著提高了缺口填充任务的效率和可用性。专业上色师的用户研究证明了其相较于传统工具的优势，突出了其在现有工作流程中的集成潜力。尽管预测准确性仍是影响可用性的条件因素，该工具的功能和人机协作设计强调了用户控制和适应性，使其成为专业管线中的重要补充。