RealTwin：面向现实保持式数字孪生重建的概念图表示与锚定框架

文献标题

RealTwin: Concept Graph Representation and Grounding Framework for Reality-Preserving Digital Twin Reconstruction

出版信息

• 研究领域: 基于以人为中心和多模态人工智能方法的数字孪生重建。
• 关键词: 数字孪生，多模态大语言模型，概念图，现实保真，以人为中心的设计，AI工具链，3D重建，交互保真，可供性生成，物理世界落地。

背景与问题

• 问题/挑战: 现有的数字孪生重建方法主要集中于几何或物理属性等特定技术方面，缺乏一种系统的、以人为中心的方法来整合感知、运动和认知。针对物理世界对象的高保真数据集成本高且难以扩展，当前方法在处理复杂或多组件对象时表现不佳。
• 重要性: 逼真的数字孪生对于机器人、VR/AR、元宇宙内容创作和仿真任务等应用至关重要，因为它们能够增强功能性、交互性和用户体验。
• 动机与相关工作: 先前的研究探索了几何重建、照片级真实感渲染和物理建模，但这些方法通常依赖于特定领域的数据集，未能满足以人为中心的应用所需的系统性真实性。多模态大语言模型（MLLMs）在推理物理和语义信息方面表现出潜力，启发了一个利用其能力进行数字孪生重建的框架的开发。

解决方案

• 提出的方法: RealTwin，一个基于属性图的现实保真数字孪生（RPDTs）表示和推理框架，利用MLLMs进行落地，并通过AI工具链系统性地构建数字孪生。
• 创新点:
  1. 提出了RPDT的概念，整合了感知、运动和认知维度。
  2. 开发了一种可扩展的RPDT概念图表示方法。
  3. 实现了一个基于MLLM的框架，通过AI工具链实现自动图构建和属性推理。
  4. 评估了MLLM的零样本落地能力，并通过用户研究评估其实用性。
• 流程与关键技术:
  • 基于以人为中心的真实性维度定义RPDT。
  • 使用包含节点（组件）和边（关系）的分层概念图表示RPDT。
  • 通过提示工程和迭代优化，利用MLLMs进行图构建。
  • 使用AI工具链进行复杂属性推理，包括3D网格重建、机械结构建模、手部可供性生成和绑定。
  • 提供交互式用户界面，用于优化中间结果。

结果

• 具体发现:
  • 图构建的F-1分数：顶点98.3%，边92.2%。
  • 属性推理成功率：材料识别94.4%，机械结构识别97.1%，手部可供性推理92.5%。
  • 网格细分接受率：83.3%。
  • 处理时间：简单对象153.3 ± 18.6秒，复杂对象399.0 ± 27.9秒。
• 相较基线的优势:
  • MLLMs的零样本落地能力在外观、物理、功能和交互性方面表现出色。
  • 模块化设计支持人机协作校正和可扩展的属性推理。
• 实验/评估:
  • 在50个类别多样且复杂的对象上进行了测试。
  • 包括12名来自不同专业背景的参与者的用户研究显示，工作流程直观，体验积极，RPDT概念丰富。
• 局限性与未来工作:
  • 在重建内部结构、复杂机械系统和时间延续交互方面存在挑战。
  • 需要改进预测建模、物理-数字对应性以及对生物实体的支持。
  • 未来将重点关注实时重建、增强模块化AI工具和更广泛的可扩展性。

总结

RealTwin通过利用MLLMs和AI工具链，提出了一种以人为中心的现实保真数字孪生（RPDTs）重建框架。该框架系统性地将感知、运动和认知维度整合到可扩展的概念图表示中。技术评估显示了图构建和属性推理的高精度，而用户研究则突出了其直观且引人入胜的工作流程。RealTwin解决了数字孪生真实性和可扩展性方面的关键挑战，为机器人、VR/AR和元宇宙环境中的应用铺平了道路。未来工作将专注于提升保真度、可扩展性和实时重建能力。