Style2Fab：面向生成式AI个性化3D模型制造的功能感知分割方法

文献标题

Style2Fab: Functionality-Aware Segmentation for Fabricating Personalized 3D Models with Generative AI

文献信息

• 主题领域: 人机交互；生成式人工智能；3D打印设计与个性化
• 关键词: 个人化制造, 数字化制造, 3D打印, 生成式人工智能, 功能感知分割, 样式化3D模型, Thingiverse, 深度学习, 设计支持工具, 分割与分类

研究背景与问题

• 发现的问题或挑战: 生成式AI可以帮助用户修改3D模型，但目前的编辑方法通常是针对全局进行的，这可能破坏模型的功能性。例如，修改花瓶基座等功能性部分可能导致模型无法正常使用。
• 重要性: 在3D打印领域，设计的功能性与其几何结构直接相关。如果不慎编辑了功能性部分，可能导致物品无法满足设计意图。这对于希望个性化现有设计的普通用户是一个显著的障碍。
• 研究动机与相关工作: 当前CAD工具有标记功能区域的能力，但用户通常无法识别旧模型的功能和美学部分，尤其是缺乏元数据的模型。此外，现有工具通常要求用户具备较高的技术水平，无法满足普通用户的需求。

解决方案

• 提出的方法或解决方案: 作者开发了一种名为Style2Fab的系统，该系统自动将3D模型分解为功能性部分和美学部分，并允许用户仅修改美学部分以保持模型的完整功能。
• 创新之处: 基于从1000个Thingiverse模型的分析所得功能性分类系统，提出了一个功能感知分割方法，并结合生成式AI技术实现对模型的局部样式化，无需影响其功能。
• 实施步骤与关键技术:
  1. 功能分类: 开发一个功能性与美学的两轴分类系统，通过定性编码和迭代方法对模型进行分类。
  2. 光谱分割技术: 使用光谱分割方法，基于3D网格的结构自动将模型划分为若干片段。
  3. 相似性分析: 使用拓扑分析方法对功能片段进行分类，确保功能性部分在样式化过程中不被修改。
  4. 生成式样式化技术: 使用基于CLIP的Text2Mesh技术，仅对美学部分应用样式化变换。
  5. 用户界面设计: 在开源工具Blender中开发插件，使用户可以验证功能片段并选择性地对其进行样式化。

研究成果

• 具体成果:
  1. 功能分类方法: 从Thingiverse中提取了938个模型，建立了功能性与美学分类维度（外部功能性与内部功能性）。
  2. 分割技术的验证: 在模型复杂性不同的情况下，该系统展现了较好的分割与分类效果。
  3. GUI实现与用户研究: 开发了一种用户友好的界面，使用户能够快速验证和样式化模型，并进行了一项包含8名参与者的用户研究。结果表明，系统显著提升了用户的处理效率和模型分类准确性。
• 优势: 与现有工具相比，Style2Fab降低了用户熟悉模型功能需求的门槛，保留了模型的功能性。同时，通过自动化分割与分类减少了用户的工作负担。
• 实验/评估结果:
  • 用户分类功能片段的时间显著减少，准确性提升。
  • 分割结果在功能性复杂的多组件模型中表现尤佳。
  • 用户普遍认为该工具可以提升样式化设计的流程并保障功能完整。
• 局限性与未来方向:
  1. 功能定义局限性: 当前功能分类仅基于拓扑相似性，未能涵盖功能性行为的复杂性，例如使用环境的影响。
  2. 数据集扩展需求: 作者的评价基于较小的数据集，未来需要更大规模的标注数据集以优化分类。
  3. 深度学习集成: 将拓扑分类与深度学习方法结合以处理复杂的功能性结构。
  4. 支持多样化应用: 将方法扩展到医疗、教育和复杂机械领域。

总结

Style2Fab通过创新的功能性感知分割方法为3D打印用户提供了个性化的优势，降低了设计与修改的难度。尽管该方法有一定的局限性，未来通过扩展数据集和功能定义能够进一步推进生成式AI在制造领域的应用。