FontCraft: 使用交互式贝叶斯优化进行多模式字体设计

研究背景与问题

• 问题或挑战：设计新字体需耗费大量人力与专业知识，尤其是设计庞大字符集（如GB18030中文字体）时需要多名专家耗时一年。此外，当前的自动字体生成方法需要预先设计字符样本，这对非专业用户构成挑战。
• 重要性：便捷的字体生成工具不仅能提高设计效率，还能降低字体设计门槛，满足多样性的设计需求，更好支持广告、海报等实际应用场景。
• 研究动机与相关工作：许多基于生成模型的方法已用于字体生成（如DG-Font），但它们通常要求用户提供预设计的字符样本或对生成模型有深刻理解，限制了非专业用户的使用。此外，现有的基于人机协同贝叶斯优化的方法虽有效，但可能降低用户的创意性和控制力。

解决方案

• 方法或解决方案：提出了一种称为FontCraft的系统，结合了多模态参考（文本、图像、字体文件）与人机协同贝叶斯优化（PBO），使用户无需预先设计字符样本也能生成高质量字体。
• 创新之处：
  1. 多模态引导的子空间：将用户提供的多模态输入映射到字体生成模型的风格潜在空间，允许用户通过文本和图像表达设计偏好。
  2. 可回溯的偏好建模：提供历史界面，允许用户回退到之前的设计状态，打破传统方法中不可撤销的工作流。
  3. 风格传播与优化：用户可设计单个字符的风格，并将其传播到整个字符集，同时支持进一步手动优化。
• 实施步骤及关键技术：
  1. 风格探索：用户通过滑块探索潜在字体风格空间；系统借用FontCLIP模型的多模态特性和贝叶斯优化方法，推荐新的候选风格。
  2. 风格传播：设计一个字符后，可将其风格应用于其余字符，确保整体一致性。
  3. 历史回溯：通过历史界面便于用户追溯和修正设计选择。
  4. 生成输出：最终生成OpenType字体（OTF）文件供用户下载。

研究成果

• 具体成果：
  • 提出了首个无需预先设计字符样本的交互式字体生成系统。
  • 成功整合多模态参考与人机协同贝叶斯优化，增强用户控制力。
  • 提供了风格传播功能，简化了风格一致字体的快速创建。
• 优势对比：
  • 与基线系统（仅提供滑块探索）相比，FontCraft生成的字体风格更加贴近用户需求，并在风格一致性上表现更优。
  • 提供的历史界面与多模态参考大幅增强了用户的设计灵活性与操作感。
• 实验或评估结果：
  • 定量评估：字体生成的目标相似性和字符间一致性均优于基线系统。
  • 用户研究：非专业用户普遍对系统易用性表示肯定，特别强调多模态输入和风格传播功能的价值。
  • 实例演示：成功应用于实际设计场景（如会议标志和宣传海报），并展示了对CJK（中日韩）字符设计的支持。
• 局限性与未来方向：
  • 生成质量：当前生成字体会出现某些失真现象（如直线扭曲），限制了其在实际生产中的直接应用。
  • 功能改进：用户希望能够对生成字符进行直接编辑，以及更灵活控制风格传播过程。
  • 潜在空间探索改进：通过更广泛的多模态参考构建更广的潜在空间，有优化潜力。
  • UI优化：考虑加入对屏幕排版、字符间距等排版特性支持，提高字体生产质量。

通过FontCraft，该工作展示了一种面向非专业用户的创新型字体设计工具，不仅降低了字体设计门槛，还通过技术创新填补了现有解决方案的多重缺陷。