用风格化的头像肖像个性化产品以表达自我

文献标题

Personalizing Products with Stylized Head Portraits for Self-Expression

文献信息

• 主题领域: 人机交互 (Human-Computer Interaction, HCI)；个性化设计与风格化图像生成。
• 关键词: 风格化头像、人工智能、设计支持工具、自我表达、人机交互、产品个性化、深度学习、设计与创意工具。

研究背景与问题

• 问题与挑战:

  • 产品个性化作为自我表达的一种形式已经获得了许多关注，但大多数研究聚焦于嵌入抽象数据（如数字或行为记录）而非非抽象个人数据（如人脸照片）。
  • 使用人脸照片结合艺术风格生成头像的过程，涉及视觉风格迁移，这对图片的视觉特性匹配、生成效果控制性以及伦理问题均带来复杂挑战。
  • 当前的生成模型，如GAN或基于CLIP的模型，在风格化转移涉及较大领域间隙（如真人照片转插画时）时表现欠佳，同时适合训练的高质量配对数据集非常稀缺。

• 重要性:

  • 头像是个人身份的重要视觉象征，若能以风格化方式广泛应用于物品，将赋予这些物品更强的个人意义与独特性，满足用户的审美需求与自我表达愿望。

• 研究动机与相关工作:

  • 提出面向设计的新的支持工具，解决从人脸照片到风格化绘图的技术与设计难题，创建可直接印刷的矢量化头像。
  • 将风格化头像应用于实体产品的个性化设计，从过程效率、效果质量、用户体验等角度推进该领域应用实践。

解决方案

• 提出的解决方案:

  • 设计了一个名为 PicMe 的支持工具，能将用户的脸部照片生成矢量格式的风格头像，并支持用户调整装饰、预览将图片用于某个物品的呈现效果。
  • 该方案不仅支持头像生成，还提供了交互工具以添加装饰元素（场景）及预览包装的整体效果。

• 创新之处:

  • 提出了一种分阶段的深度学习算法，用于缩小真人照片与插画风格间的领域差距，从而在风格化头像设计过程中的生成质量得到提升。
  • 通过扩展现有的 Open Peeps 插画数据集，解决了训练数据量不足的问题。
  • 提供了工具辅助用户设计个性化产品，助力自我表达。

• 实施步骤与核心技术:

  • 通过四个模块实现图像风格化的生成算法：
    1. 估算器：将用户照片转换为初步粗略的风格化位图图像。
    2. 组合器：从插画数据集中选取合适的图像部件，生成插画风格头像。
    3. 编码器：使用 CLIP 模型将照片和绘画转化到同一潜在嵌入空间。
    4. 搜索引擎：在潜在空间中找到与用户照片高度相似的头像插画组合并推荐。
  • 用户界面提供三种主要功能页面: 头像生成页面、场景选择页面、产品预览页面。
  • 数据集扩展：通过专业设计师绘制装饰性场景和丰富细节的人脸组件（如发型和表情），提升生成效果的多样性。

研究成果

• 具体成果:

  • PicMe 系统能够为用户生成风格化头像，并在后续的产品个性化阶段提供满意的设计工具，增强用户的自我表达体验。
  • 在实验中展示了算法对非抽象数据（如面部图片）和不同绘画数据集的普适性。

• 与现有解决方案的优势:

  • 分阶段深度学习算法有效缩小了领域间隙问题，生成高质量结果。
  • 支持生成矢量格式图形，契合实际印刷场景并适合不同材质与尺寸的产品定制。
  • 用户可基于场景装饰与预览调整进一步提升设计表达力。

• 实验或评估结果:

  • 实验一（效果验证）: 比较了多种基线模型与算法模块的替换效果，使用 20 个验证集图片，并以 MAP 指标衡量生成质量。
    • PicMe 的生成精度最高，表明模块设计的有效性。
  • 实验二（泛化验证）: 不同开源插画数据集（Avataaars 和 Avatar Illustration System）的实验显示算法的适应性强，能生成多样化的风格化结果。
  • 用户研究:
    • 40 名参与者一致反馈工具直观易用，并在生成的头像质量、工具创意支持等方面给予正面评价。
    • 定制产品的使用能够帮助用户表达个性，增加关注和社交联系。

• 局限性与未来方向:

  • 当前数据集主要基于卡通化插画风格，未来可以扩展到更多艺术风格或动态化表现。
  • 模型训练需要强化传输学习能力，减少不同风格迁移任务需要的重训练成本。
  • 探索更强的智能用户偏好预测能力，辅助精细化的人机协作改进体验。