SpatialProto：探索现实世界的动作捕捉以实现交互式混合现实的快速原型设计

文献标题

SpatialProto: Exploring Real-World Motion Captures for Rapid Prototyping of Interactive Mixed Reality

文献信息

• 主题领域: 人机交互设计、虚拟现实/增强现实系统开发、低技术门槛的原型设计工具
• 关键词: 空间原型设计, 混合现实, 互动, 动画, 无编程技能, 深度感知, MR头显, 用户研究

研究背景与问题

• 问题与挑战:

  1. 随着增强现实 (AR)、虚拟现实 (VR)、混合现实 (MR) 的普及，传统以2D界面为核心的交互 paradigms 正面临转型，空间计算成为新的交互形式。
  2. 空间计算的相关体验设计存在显著问题，尤其是早期原型快速迭代困难。包括动态交互设计和三维动画需求，往往需要高阶的编程和3D建模技能，普通用户和非专家难以处理。
  3. 尽管已有少量工具探索快速原型设计，但主要局限于静态内容设计或VR单一环境。此外，多数工具要求切换设备或编程，用户体验低效。

• 研究的重要性: 本研究聚焦于降低空间系统原型设计的门槛，使其更能广泛适用于非技术背景的用户。这不仅支持MR体验的快速开发，还有助于探索空间原型设计的潜力和广泛应用。

• 研究动机与相关工作: 作者认为需要更高效的空间原型设计工具，能够在 MR 环境中直接完成所有设计阶段；同时，强调简单、灵活以及非技术用户的可用性。相关先前研究如ProtoAR、RoomAlive等都未完全解决动态互动MR体验的综合性问题。

解决方案

• 方法或解决方案: 作者提出了SpatialProto系统——一种面向深度传感MR头显的快速空间原型设计工具。

  • 核心功能包括通过深度感知摄像头捕获现实场景中的动态对象，进行实时编辑，并直接在MR环境中设计和测试交互原型。
  • 设计了包括三个关键阶段的管道: 记录 (Recording)、编辑 (Editing) 和 原型设计 (Prototyping)。

• 创新之处:

  1. 动态动画支持: 支持记录现实世界中的运动并将其转化为交互原型动画。
  2. 支持非专家用户: 无需编程技能或专业设置，操作流程简便。
  3. 沉浸式设计体验: 用户可以在MR环境中直接进行捕获、编辑和测试，而无需离开MR设备。

• 实施步骤与关键技术:

  1. 记录阶段: 利用RGB-D摄像头捕获3D场景，同时记录深度信息、RGB纹理及相关元数据。支持单帧捕获、连续视频录制及逐帧停动录制。
  2. 编辑阶段: 提供多种裁剪与遮罩生成技术（如深度平面遮罩、色度键控、对象检测算法），可修改颜色或图像效果以调整内容。
  3. 原型设计阶段: 用户可调整动画的空间位置、旋转及缩放，设置触发器与互动逻辑（例如通过头部、手势或双眼触发）。

研究成果

• 具体成果:

  1. SpatialProto 系统成功设计并实现，支持用户设置动态交互MR原型（例如游戏互动、室内设计模拟）并嵌入实际空间。
  2. 实验表明，非技术背景的用户可在20分钟内完成一个完整的动画设计，大幅降低学习曲线。

• 优势:

  1. 与现有方法（如ProtoAR）相比，支持更复杂动态动画及交互逻辑设计，且系统依赖的硬件成本低（可通过市售VR设备实现）。
  2. 在原型设计过程中无需离开MR设备，提升设计效率与体验沉浸感。

• 实验或评估结果:

  1. 用户研究涉及9名参与者，涵盖不同学科背景（如计算机科学、建筑设计）。用户普遍认为工具易用且学习曲线较短。
  2. 成功设计多种动画原型，包括小鸭跳动动画、粘土设计的爆炸模型等。用户创造性提出该系统在动画设计之外的其他使用场景。

• 局限性与未来方向:

  1. 视觉限制: 当前的系统仅支持用户视角的捕获，无法记录对象的全方位3D形态。未来可集成补全3D数据的机器学习技术。
  2. 性能优化: 随着复杂场景的增加系统帧率下降明显，可通过压缩深度数据或更高效算法优化。
  3. 对象检测算法: 当前ML检测方法精度较低，推理时间过长。未来版本可进一步优化算法选择并启用GPU加速。

总结

SpatialProto是一项创新系统，融合了动态动画捕获、实时编辑与沉浸设计，开启了MR设备上非专业用户的低技术门槛原型设计先河。通过用户研究与应用实例验证，系统显著提升了空间设计的可及性与体验沉浸感，标志着未来MR创作工具的新方向。