AvatAR：结合交互式3D化身和轨迹的人类运动数据沉浸式分析环境

文献标题

AvatAR: An Immersive Analysis Environment for Human Motion Data Combining Interactive 3D Avatars and Trajectories

文献信息

• 主题领域: 人体运动数据分析与可视化技术，通过增强现实环境研究人类移动和互动行为。
• 关键词: 人体运动数据分析, 增强现实, 混合现实, 交互式3D虚拟化身, 平面和轨迹可视化, 沉浸式分析

研究背景与问题

• 发现的问题和挑战:

  • 当前的人体运动数据分析工具主要依赖于二维或三维图表（如热图、线图、轨迹图），但缺乏与真实环境直接关联的可视化方式。
  • 这些传统方法无法详细展示人的姿态或与环境之间的交互，仅适用于较简单的空间行为或运动数据分析。
  • 迫切需要新的技术来克服分析工具与用户数据之间的障碍，以便更好地理解人类行为。

• 问题的重要性:

  • 人体运动数据揭示了空间使用模式、行为规律，以及复杂工作过程的执行情况。
  • 它广泛应用于办公空间优化、舞蹈学习、建筑能效管理以及客户行为分析等领域。
  • 在捕获数据的实际环境中进行分析，可以提供更直接、空间感知的研究形式，提高使用效率。

• 研究动机与相关工作:

  • 作者旨在通过增强现实头戴显示器（AR HMD）的沉浸式环境，将虚拟人体与运动轨迹直接嵌入现实环境进行可视化，以改善人体运动数据的评估方式。
  • 他们提出了一个新的工具，结合传统的轨迹分析和交互式虚拟化身，以提供详细的信息并改善分析体验。

解决方案

• 提出的解决方案:

  • AvatAR系统：一个沉浸式分析环境，利用AR技术将人体运动数据嵌入到与其相关的真实环境中，用于现场分析。
  • 可视化方式：
    • 交互式3D虚拟化身：显示个人姿态和动作细节。
    • 运动轨迹：三维路径提供了运动的整体空间概览。
    • 环境嵌入可视化：包括目光方向（Gaze Visualization）、触摸状态（Touch）及脚步（Footprint）的可视化。

• 创新之处:

  • 将运动数据直接与真实环境结合，使其不仅可以呈现为图表，还能通过虚拟化身和环境交互直接体验数据。
  • 利用虚拟化身的肢体实现交互，例如用于访问时间轴、控制可视化类型以及操控播放。
  • 支持多种场景使用，如办公室空间分析、舞蹈动作学习、零售店布局优化等。

• 实施步骤与核心技术:

  • 初始化与数据整合：从人体运动数据集（如OpenPose或CMU Panoptic Studio）中解析骨骼数据。
  • 生成3D虚拟化身：根据数据重建姿态并匹配真实环境中的尺寸。
  • AR头显与平板设备交互：HMD用于沉浸式体验，平板显示楼层平面图，辅助导航和选择具体可视化。
  • 环境嵌入：通过计算与真实对象的交互（如触碰、视线）生成额外的环境数据点。

研究成果

• 具体成果:

  • 创建了AvatAR原型，支持实时生成3D虚拟化身及相关轨迹，集成至增强现实中用于人体行为高级分析。
  • 系统示范了在不同场景中（如办公室分析、舞蹈学习、客户行为研究）的应用潜力。

• 与现有解决方案的比较:

  • 与传统二维或三维分析工具相比，AvatAR增加了沉浸式环境支持和详细的动态姿态重建。
  • 超越类似工具（如MIRIA）在嵌入直接环境交互的可视化、细节重建等方面的能力。

• 实验或评估结果:

  • 原型测试表明，AvatAR可以帮助用户更好地理解人类运动数据，尤其是在与环境相关联的分析任务中。
  • 模拟场景展示了其在促进空间布局优化（办公室或商店）、舞蹈动作指导和客户行为记录方面的潜在应用。

• 局限性与未来方向:

  • 当前未对更长时间段或数据集规模更大的情景进行详细测试。
  • 部分技术尚未优化以适应更高数据精度（如眼动追踪信息）。
  • 未进行大规模用户评估，未来需进行实地应用研究以验证系统对分析任务的实际支持效果。

结论

AvatAR系统展现了人体运动数据沉浸式分析的新潜力，通过3D虚拟化身、轨迹管理及环境嵌入可视化，结合实时AR技术，使数据不仅可以探索，还能体验。这种增强的沉浸感和视角转化预计将在多领域分析任务中发挥重要作用。