从拆卸视频生成人工智能驱动的增强现实重组指导以支持日常维修

文献标题

AI-generated AR Reassembly Guidance from Disassembly Videos to Scaffold Everyday Repair

出版信息

• 主题领域: 基于增强现实（AR）和人工智能的家用电器维修指导。
• 关键词: 增强现实，维修指导，多模态大语言模型，拆解视频，重组规划，用户研究，自我效能感，混合媒体可视化，任务分段，组件提取。

背景与问题

• 问题/挑战: 由于缺乏可访问的、最新的产品手册，以及为AR系统创建特定产品的3D资产成本高昂，维修家用电器变得极具挑战性。目前的AR解决方案通常依赖于CAD模型和预构建资产，限制了其可扩展性和实用性。
• 重要性: 解决维修难题可以赋能用户，延长产品使用寿命，并助力可持续发展目标。提供可访问、可扩展的维修指导可以降低用户参与维修活动的门槛。
• 动机与相关研究: 先前的研究探索了用于维修任务的AR技术和用于生成指导的多模态大语言模型（MLLMs）。然而，这些方法通常依赖于结构化的、预先存在的内容，如CAD模型或手册，而这些内容并不总是可用。本文旨在通过利用用户录制的拆解视频生成重组指导来填补这一空白。

解决方案

• 提出的方法: RePairAR，一种AR系统，利用MLLMs直接从用户录制的第一视角拆解视频生成重组指导，无需依赖CAD模型或手册。
• 创新点:
  1. 开发了一种基于MLLM的管道，从拆解视频中提取任务结构和组件信息。
  2. 提供混合媒体AR可视化，以实现现场重组指导。
  3. 用户研究表明该系统在降低时间需求和提高维修自我效能感方面的显著影响。
• 流程与关键技术:
  1. 用户使用AR头戴设备录制拆解视频。
  2. 系统通过MLLM管道处理视频，提取步骤-组件-关系结构。
  3. 通过反转拆解顺序生成重组指导，并通过AR叠加进行可视化，包括任务流程概览、组件识别和对齐指导。

结果

• 具体发现:
  • 步骤分段的帧均值准确率：30.6%（范围：1.9%–68.0%）。
  • 组件提取的F1分数：0.74（范围：0.37–1.00）。
  • 与教程视频相比，RePairAR降低了感知的时间需求（t = –2.76, p = .015）。
  • 使用RePairAR后，自我效能感评分显著提高（Δ = 11.38, p < .001）。
• 相较基线的优势:
  • 与教程视频相比，RePairAR在提升自我效能感方面表现更优（Δ = 2.63, p = 0.030）。
  • 参与者报告时间需求更低，并赞赏系统与其节奏的契合性。
• 实验/评估:
  • 在17个电器视频（182个组件）上进行技术验证。
  • 对16名参与者（平均维修技能：2.06/5）进行用户研究，采用被试内设计比较RePairAR与教程视频。
  • 评估指标：系统可用性量表（SUS = 63.91）、NASA-TLX工作负荷量表和自我效能感问卷。
• 局限性与未来工作:
  • 由于AR头戴设备的限制（如视觉模糊、不适感），存在可用性问题。
  • 步骤分段和组件提取的准确性尚不完美。
  • 与用户交互的录制和处理相关的隐私问题。
  • 未来工作包括优化管道、扩展对诊断的支持，以及与其他工具和平台的集成。

总结

RePairAR是一种AR系统，利用MLLMs将用户录制的拆解视频转化为交互式重组指导，解决了维修文档缺乏的问题。系统在用户研究中表现出可靠的组件提取能力，并提高了维修自我效能感，但在可用性和技术准确性方面仍面临挑战。通过降低时间需求并使指导与用户节奏相契合，RePairAR使维修任务对新手更具可操作性。未来工作旨在改进管道，扩展对其他维修阶段的支持，并与更广泛的维修生态系统集成。