虚拟身体加速度数据在细粒度人类活动识别中的效用研究

先前的工作已证明，从视频中使用跨模态迁移方法（如IMUTube）提取的虚拟加速度数据有助于训练复杂有效的人类活动识别模型。IMUTube等系统最初设计用于覆盖基于显著身体（部位）活动的场景。然而，生活是复杂的，许多日常生活活动仅基于相当细微的动作，这就提出了一个问题：像IMUTube这样的系统在细粒度HAR中有多大价值？本研究首先引入了一个量化指标——运动细腻度指数（MSI），用于评估感兴趣活动underlying的细微人体运动，该指标捕捉目标虚拟传感器位置附近的局部像素运动和姿态变化，并将其与最终的活动识别准确率相关联。我们探索了对于哪些underlying动作细微的活动跨模态迁移方法有效，对于哪些无效。因此，本论文所呈现的工作使我们能够绘制出IMUTube类系统在实际场景中的应用图景。