EUREXA：面向生成式制造的端到端可解释增强环境重配置系统

文献标题

EUREXA: End-User Reconfiguration of Environment with eXplainable Augmentation for Generative Fabrication

出版信息

• 主题领域: 面向物理对象增强和制造的生成式人工智能。
• 关键词: 生成式设计、参数化模型、可访问性、多模态输入、制造、增强、RAG、MLLM、OpenSCAD、以用户为中心的设计。

背景与问题

• 问题/挑战: 非专业用户在识别潜在交互挑战、明确设计目标以及获取高级制造解决方案时面临障碍，而这些解决方案通常局限于研究原型或非参数化设计。
• 意义: 解决这些障碍可以普及生成式制造的应用，使用户能够为日常环境创建个性化、可访问且可持续的解决方案。
• 动机与相关工作: 先前关于参数化设计和文本到3D生成的研究推动了定制化的发展，但在非技术用户的情境适配和可访问性方面存在不足。基础模型通过支持多模态推理和检索增强生成（RAG），为弥合这一差距提供了潜力。

解决方案

• 提出的方法: EUREXA，一个支持终端用户通过诊断–发现–描述工作流，从多模态输入生成可制造设计的代理系统。
• 创新点:
  1. 在公共资源库和研究文章中进行双重搜索以寻找增强解决方案。
  2. 将非参数化设计转换为具有可解释参数的参数化模型。
  3. 使用CLEAR指标评估用户输入的模糊性和系统推理能力。
  4. 通过动态GUI进行人机协同的设计迭代。
• 流程与关键技术:
  • 使用多模态输入（文本和图像）和场景分析诊断潜在交互挑战。
  • 通过检索增强生成（RAG）从资源库和研究文章中发现解决方案。
  • 使用以用户为中心的参数描述设计，并提供动态GUI进行迭代定制。
  • 通过回退层级生成参数化设计，包括重新混合现有设计、转换非参数化网格以及从研究描述中起草设计。

结果

• 具体发现:
  • 物体检测召回率：86.9%。
  • 动作类型检测精确率：95.2%。
  • 可访问性问题检测召回率：74.78%。
  • 解决方案发现成功率：完整流程中为95%。
  • 用户研究：参与者成功生成并定制设计，报告了高可用性和直观的交互体验。
• 相较基线的优势:
  • 在解决方案发现中优于仅文本或仅图像配置（95% 对比 30–57.5%）。
  • 相较于消融设置，能够可靠生成可制造设计。
• 实验/评估:
  • 在AccessLens和AccessMeta数据集上评估物体检测和问题识别。
  • 引入CLEAR指标量化输入模糊性。
  • 进行了消融研究和包含10名来自不同技术背景参与者的用户研究。
• 局限性与未来工作:
  • RAG中的令牌限制限制了长提示和多轮上下文。
  • 在复杂设计中的参数化生成错误。
  • 对大规模制造、多材料设计和硬件约束的支持有限。
  • 未来方向包括AR集成、语义感知的参数化重建以及扩展领域的可扩展性。

总结

EUREXA是一个代理系统，能够通过多模态输入和迭代定制，帮助非专业用户诊断交互挑战、发现增强解决方案并描述可制造设计。它利用多模态大语言模型、检索增强生成和参数化设计生成，支持可访问性、智能家居自动化和能量收集等多样化用例。评估结果表明其在物体检测、解决方案发现和用户满意度方面具有高准确性，未来工作将聚焦于AR集成、可扩展性和增强的参数化重建。EUREXA旨在普及高级制造解决方案的应用，并促进基于研究的参数化设计共享。