AIFiligree：一种用于设计精美细金工艺作品的生成式AI框架

研究背景与问题

• 作者发现了哪些问题或挑战？ 作者发现中国传统的花丝工艺虽然具有极高的美学和文化价值，但由于其设计与制作过程复杂，需要大量时间和专业技能，这限制了工艺的设计美学和文化传承。此外，现有数字技术在结合手工艺方面虽有所助益，但大部分干预导致了艺术输出的不完全传统，未能解决细腻花丝工艺的展现问题。

• 为什么这个问题很重要？ 花丝工艺是中国国家级非物质文化遗产的代表，其对文化传承和艺术创新具有重要意义。然而，由于其制作工艺繁复且对技术要求高，很多设计师和手工艺爱好者面临技术门槛，难以参与。解决这个问题不仅能帮助保存传统文化，也能推动文化创新。

• 研究动机与相关工作 针对这些限制，作者提出利用生成式人工智能 (AIGC) 技术来加速复杂工艺设计过程，从而扩大传统工艺的应用范围。此外，现有研究主要集中于利用数字技术降低手工艺参与门槛以及通过AI改进传统工艺设计，但还未充分解决花丝工艺的细节问题。

解决方案

• 作者提出了哪些方法或解决方案？ 作者提出了一个基于生成式人工智能的框架——AIFiligree，该框架结合Stable Diffusion模型和LoRA模型，能够生成具有高真实性和精细花丝工艺特征的作品，并支持多种设计场景，包括通过文本生成图像 (T2I)、图像到图像转换 (I2I) 和局部重绘等方法。同时，该框架提供传统花丝工艺提示词库以提升用户体验。

• 该解决方案的创新之处是什么？

  • 使用AIGC技术处理复杂工艺细节，使设计过程更加高效。
  • 提供用户友好的设计工具界面，支持自然语言输入和关键性参数调整。
  • 针对花丝工艺独特的复杂性优化标签和数据集训练。
  • 用适配优化器对LoRA模型进行训练，提高图像细节生成的精确性和文化重现能力。

• 实施步骤是什么？使用了哪些关键技术？

  1. 数据收集与处理： 收集了约400张图像用于训练，包括花丝工艺产品及其说明文本。将不清晰的图像去除，统一调整分辨率为1024×1024像素。
  2. 标签优化： 手动优化图像标签以确保精准表达文化特性，实验表明使用中英文结合键词格式标签效果最佳。
  3. 模型训练与优化： 使用自适应优化器（如DAdaptLion）进行多轮迭代训练，同时比较不同训练步骤对模型性能的影响。
  4. 用户界面开发： 基于ComfyUI构建了可视化设计工作流，支持文本输入生成、多图像参考以及局部细节重绘。

研究成果

• 取得了哪些具体成果？

  1. 成功构建了能够生成高质量花丝工艺图像的LoRA模型，并通过AIFiligree工具将该模型应用于用户设计流程。
  2. 用户实验表明，该工具显著增强了设计师的设计效率并激发了创意，同时帮助用户更好地理解传统文化和艺术表达。
  3. 专家用户表示AI生成图像的视觉吸引力具有较高价值，并能通过准确的文化元素生成效果为设计师提供参考。

• 与现有解决方案相比，它有哪些优势？

  • 在保留传统花丝工艺美学特征的同时，提供了设计创新的可能。
  • 用户界面友好，门槛低，高集成度使得非专业用户也能参与复杂工艺设计。
  • 支持生成高细节、文化准确的传统花丝作品，解决现有数字工具生成传统风格作品的不足。

• 实验或评估结果是什么？

  • 在22位花丝专家的实验中，传统图像与AI生成图像在美学吸引力上得分相近，其中AI生成作品在创意表达方面更有优势。
  • 系统易用性测试中得分平均为78.4（SUS评分），表示用户对工具的可用性和学习曲线满意。
  • 用户平均进行29次迭代，大大超过传统设计流程中的迭代次数，表明AI能有效缩短设计投入时间。

• 局限性与未来方向

  • 局限性：
    • 数据库的图像样式多样性受限，影响了生成现代设计样式的能力。
    • AI虽然能生成设计效果，但不能完全替代手工艺的精神与细节表达；存在某些生成错误。
  • 未来方向：
    1. 扩展数据库以涵盖更多样化的设计风格与花丝工艺样式。
    2. 探索将AIFiligree与实际生产过程结合，如通过CAD和3D打印技术生成快速原型。
    3. 更深入优化AI模型学习传统工艺的复杂情感和精神表达，进一步提升生成效果。

通过本研究，AIFiligree不仅推动了传统花丝工艺的数字化和创新，同时为传统文化的设计现代化提供了新的解决方案。