FusionProtor：一种用于组件级物理到虚拟3D转换和仿真的混合原型工具

研究背景与问题

• 发现的问题与挑战: 作者发现传统的3D原型开发方法中，物理和虚拟原型通常是独立操作，这导致工作流程的割裂。此外，高保真原型的制作耗时且资源消耗较大，限制了设计师的创造力。设计工具较少能够有效利用低保真物理原型中的信息进行详细的建模。

• 问题的重要性: 概念设计决定了产品生命周期成本的70%-80%，高效的原型工具对设计的信息呈现、可行性测试、以及与利益相关者的交流都至关重要。

• 研究动机与相关工作: 新兴的生成人工智能（Generative AI, GAI）和扩展现实（Extended Reality, XR）技术能够提供快速原型转换和混合交互的新解决方案。然而，这些技术在3D原型设计中的应用仍面临局限性，如缺乏层级化的组件生成能力或对低保真原型的充分利用。

解决方案

• 提出的方法或解决方案: 作者提出了FusionProtor，一个混合原型工具，支持基于组件级别的物理到虚拟的3D过渡与仿真。该工具结合了生成人工智能（GAI）和XR技术，支持快速原型过渡、细化及混合交互。

• 创新之处:

  1. 组件级的3D创建方法: 提出了新的Component-level Extraction and Generation (ComEG)算法，能够从设计中提取独立组件，并生成对应的高质量3D模型。
  2. 物理到虚拟的无缝转换: 提供了基于GAI的逐步生成管线，从低保真物理原型快速生成高保真虚拟方案。
  3. 支持混合工作空间: 融合XR技术，设计了跨物理和虚拟环境之间的实时迭代流程。

• 实施步骤与关键技术:

  1. 混合工作区的设计: 将物理原型和虚拟原型结合，允许设计者通过Apple Vision Pro等设备进行实时交互。
  2. 逐步过渡管线: 建立了一个从图像到高保真原型的生成管线，包括图像到图像转换和基于组件分离的图像到3D生成。
  3. 仿真与动画模块: 集成了Blender、Cinema 4D等主流工具，用于完成组件装配与动作模拟。

研究成果

• 具体成果: 开发并验证了FusionProtor工具，该工具能够无缝连接物理和虚拟原型工作流，支持从低保真到高保真的快速转换，同时允许组件级的迭代与仿真。

• 优势:

  1. 与传统原型工具相比，FusionProtor显著提高了设计效率。设计者完成概念设计的时间平均为40.82分钟，比传统方法的耗时缩短显著。
  2. 提供强大的表达能力，帮助设计者丰富低保真模型的细节，支持结构逻辑与模块化设计。
  3. 支持多样化的设计任务，包括智能设备、机器人、无人机等领域的概念探索。

• 实验结果: 在技术评估中，FusionProtor的组件提取方法在提取质量、图像质量和屏蔽部分的补完方面优于主流基线算法。在用户研究中，参与者评价工具的可用性为87.81（SUS评分），完成设计方案的完整率达到91.67%。

• 局限性与未来方向:

  1. GAI的结构理解仍有局限，导致生成的组件有时缺乏正确的装配关系或几何精度不足。
  2. HMD设备使用时间较长会产生身体负担。
  3. 工程生产的应用仍需优化，例如物理原型的比例调整与多视图输入支持。
  4. 设计早期可能出现创意固化，例如高保真生成提前介入可能减少设计者的反思。

未来工作建议包括优化XR交互功能，支持组件间运动关系模拟，增强设计细节的生成控制，以及对GAI模型进行更新以支持更复杂的设计需求。