逐件服装捕获与合成用于实时虚拟试穿

文献标题

Per Garment Capture and Synthesis for Real-time Virtual Try-on

文献信息

• 主题领域: 虚拟试衣、计算机视觉和图像合成
• 关键词: 虚拟试衣、深度图像合成、图像到图像转换、可形变人体模型、服装捕捉、实时交互

研究背景与问题

• 发现的问题或挑战:
  • 当前基于图像的虚拟试衣方法无法准确模拟因体型变化或不同交互（如拉伸或抓取）导致的皱纹变化。
  • 常规虚拟试衣技术难以真实再现衣物的贴合程度和动态外观。
  • 用单张图像生成试衣效果限制了交互的丰富性，也难以合成高质量的结果。
• 问题的重要性:
  • 随着在线购物的兴起（尤其是在疫情期间），虚拟试衣作为提升购物体验的关键技术，需求迅速增加。
  • 更高质量和更真实的虚拟试衣有助于消费者做出更科学的购买决策。
• 研究动机:
  • 打破现有试衣技术的限制，为用户在虚拟环境中提供更丰富的交互方式和更真实的试衣效果。
  • 用更详细的数据捕捉每件衣物的特性，以支持个性化试衣体验。

解决方案

• 方法或解决方案:
  • 提出了一个基于“每件衣物捕捉”的流程，结合定制化的可动假人和测量服。
  • 利用深度图像到图像的转换网络（pix2pixHD模型），通过捕捉的图像训练模型，实现个性化试衣效果。
  • 测量服使得用户可以通过统一的服装表示实现实时交互。
• 创新之处:
  • 第一次提出通过“逐件衣物捕捉”的方式，记录详细的衣物变形和交互效果。
  • 使用专门设计的测量服纹理作为表征，以支持更准确和实时的虚拟试衣。
  • 设计并实现了一种可以动态调整的假人，用于模拟多种人体尺寸和姿态。
• 实施步骤:
  • 服装捕捉:
    1. 使用可动假人捕捉目标衣物在不同体型和姿势下的图像和深度数据。
    2. 对捕获数据进行后处理，包括背景分割和图像对齐。
  • 图像合成:
    1. 利用测量服与目标衣物的成对数据，训练图像到图像的转换模型。
    2. 实现从测量服到目标衣物的图像映射。
  • 实时试衣:
    1. 用户穿测量服并站在摄像机前。
    2. 系统实时将测量服的图像转换为目标衣物的试穿效果。

研究成果

• 具体成果:
  1. 开发了支持精准捕获衣物物理特性的机器人假人。
  2. 提出了测量服的设计，能够有效支持实时在线试衣的高精度图像合成。
  3. 构建了一个包含10种目标衣物数据集，涵盖多种视角、体型和姿势。
• 与现有方案的优势:
  • 能够处理动态交互（例如拉伸和抓取），并准确模拟衣物的皱纹和贴合度。
  • 较基于单图像的试衣方法，生成图像具有更高分辨率和更逼真的细节。
  • 用户能试穿不同尺寸的衣物，并准确选择适合自己体型的尺码。
• 实验与评估结果:
  • 用户研究表明，参与者对系统显示的衣物尺寸和颜色准确度评价较高（4.38/5分）。
  • 大部分参与者能够借助虚拟试衣选择到适合自己的衣服尺码。
  • 与最先进的试衣方法（如ACGPN）相比，本文方法在图像清晰度、皱纹细节保留和拟真度上均占优。
• 局限性与未来方向:
  • 方法在大规模衣物捕捉时需要较长时间，仅单件衣物的捕获过程就需耗时约2小时，这限制了其可扩展性。
  • 目前仅支持上半身服装的试衣，未来需要扩展支持更多类型的衣物（如长袖、连衣裙）。
  • 未利用时间序列信息，无法再现动作序列中积累的衣物变形（例如动态皱褶）。
  • 测量服的设计仍能进一步优化，例如引入更多复杂和信息丰富的纹理样式。

总结来看，本文对虚拟试衣技术的突破性改进为在线购物中的用户体验带来了新的可能性，同时为未来研究提供了重要的技术和数据支持。