TactStyle：使用生成式AI为数字制造生成触觉纹理

研究背景与问题

• 作者发现的问题或挑战： 当前的3D模型样式化工具虽能够基于图像生成模型优化外观，但无法有效捕获和再现材质的触觉属性。针对实体交互中至关重要的表面触觉质量（如光滑、粗糙、木纹、石材等），现有工具过于关注视觉特性，而忽略了触觉特性。

• 重要性： 触觉是人类与物理世界交互中的核心维度。增强3D打印结构的触觉属性不仅改善了实际交互体验，还可更好地模仿或增强不同材质，为个人化定制提供更多可能性，例如在教育、辅助设备和家庭装饰中的应用。

• 研究动机与相关工作：

  1. 动机： 当前的技术，如CLIP、Style2Fab等，虽然可以实现3D模型的视觉样式化，但在准确再现表面微几何和相应触觉体验方面表现不足。此外，许多研究（例如Degraen等提出的基于微几何的触觉重现技术）需要昂贵的硬件设备，普通用户难以使用。
  2. 相关工作：
     • 在开放设计个性化领域，研究表明现有3D打印工具缺乏支持触觉特性的能力。
     • 在触觉表面重建方面，已有方法通过捕捉高度场生成触觉纹理，但需要复杂的技术支持。
     • 数据集的使用（如CGAxis）在捕获材质及高度场配对数据方面有所探索，但仍有局限。

解决方案

• 提出的方法： 作者提出了一种名为 TactStyle 的系统，它结合生成式人工智能生成图像相关的高度场数据，用于3D模型表面纹理的触觉重现。TactStyle通过分离视觉和几何样式化流程并优化几何表面微结构，生成既匹配视觉样式又能模仿触觉体验的模型。

• 创新之处：

  1. 几何样式化模块： 使用微调后的变分自动编码器（VAE）和基于扩散模型的生成技术，将输入纹理图像转化为高度场数据。
  2. 分离视觉与几何样式优化： 通过现有技术优化颜色属性，同时利用TactStyle生成的高度场调整表面几何。
  3. 触觉高仿真： 系统不仅模拟纹理的视觉特性，还成功再现触感，超越传统方法。

• 实施步骤与关键技术：

  1. 高度场生成： 使用改进的扩散模型，将输入图像生成对应的高度场（预定义材质类型如木纹、岩石等）。
  2. 几何优化： 基于UV映射方法，将高度场数据施加到3D模型表面，通过顶点法线位移实现纹理的几何样式化。
  3. 整合与功能实现： 在Blender中开发插件，允许用户上传模型和纹理图像，并实时应用颜色与几何样式优化。
  4. 数据集训练： 使用CGAxis的500对材质和高度场数据进行扩展，通过多角度旋转数据进行增强，提升模型泛化能力。

研究成果

• 具体成果：

  1. TactStyle能够结合视觉与触觉特性，在3D模型样式化中实现高仿真触觉再现，使得触觉经验更贴近真实表面。
  2. 用户界面直观，能通过简单操作生成包括期望视觉和触觉特性的模型。

• 与现有解决方案的优势对比：

  1. 在感知实验中，TactStyle生成的高度场数据与原始触感高度一致，而传统方法（如Style2Fab）仅限于粗糙的视觉模拟，触觉表现不足。
  2. TactStyle在描述符（如粗糙度、硬度、均匀性和方向性）的用户评价中显著优于现有基线方法。

• 实验与评估：

  1. 定量评估显示TactStyle在均方差（MSE）和RMS误差（衡量高度场纹理的精确性）中具有显著优势。
  2. 心理物理实验验证了TactStyle生成的高度场在多个触觉维度（如硬度、粗糙度）上与原始材质高度相符，且成功符合视觉对触觉的预期。
  3. 用户感知结果表明，TactStyle在硬度、粗糙度、黏滞感等方面均表现优异，用户难以区分其与真实纹理的触觉体验。

• 局限性与未来方向：

  1. 数据集局限性： 当前训练数据主要集中于较少的材质类型（如木纹、岩石、屋面等），未来可扩展至更多种类（如织物、金属等）。
  2. 跨模态设计： 可扩展到通过文本描述生成触觉纹理，为用户提供更多直观设计方式。
  3. 材质属性研究： 当前触觉生成主要基于几何优化，未来可结合材质的热传导性、弹性等特性，提升触觉还原的真实性。
  4. 动态与混合触觉探索： 基于动态材质（如光致变色材料或可编程响应表面），探索触觉与视觉的联动与新型设计可能性。

总结

TactStyle 提供了一种创新工具，实现了3D打印中视觉与触觉的同步样式化，推动了跨模态设计与个人化制造的发展。通过深度学习模型的优化与触觉感知实验验证，该方法在多个领域（如家庭装饰、教育、医疗助力设备）中展现了巨大的应用潜力。