Vid2Doppler: 从视频中合成多普勒雷达数据以训练保护隐私的活动识别

文献标题

Vid2Doppler: Synthesizing Doppler Radar Data from Videos for Training Privacy-Preserving Activity Recognition

文献信息

• 主题领域: 隐私保护的活动识别，基于毫米波雷达信号的生成与学习
• 关键词: 人类活动识别, Doppler 雷达, 数据集生成, 跨领域翻译, 隐私保护, 合成数据, 深度学习

研究背景与问题

• 发现问题: 毫米波 Doppler 雷达作为一种隐私保护型的活动识别传感器，尽管价格低廉且信号丰富，但缺乏大规模的训练数据集，限制了其深度学习技术的进一步发展。
• 问题重要性: 隐私问题在现代传感系统中尤其突出，Doppler 雷达因其隐私保护特性被看好，但无法与计算机视觉和音频识别技术相比，因为后者拥有丰富的训练数据资源。
• 研究动机与相关工作:
  • 现有工作多使用麦克风、摄像机和运动捕捉设备进行活动识别，但隐私问题严重且成本较高。
  • Doppler 雷达因其噪声容忍性和隐私保护受到关注，但由于缺乏数据，其普及受到影响。
  • 合成 Doppler 数据的探索虽已出现（如点云、运动捕捉数据），但与视频生成相比，数据来源有限且转换精度不足。

解决方案

• 提出的方法:
  • 开发一个用于从普通视频生成合成 Doppler 雷达数据的软件管道。
  • 使用视频中的人体活动生成接近日常 Doppler 信号的数据集：从视频到 3D 网格和视点合成，最终通过深度学习的编码解码器生成真实感强的合成信号。
• 创新之处:
  • 构建了首个基于视频作为输入的 Doppler 数据生成框架，数据来源于视频库（例如 YouTube 和结构化视频数据集）而非定制设备。
  • 较之前利用运动捕捉和深度点云的工作，覆盖了更多场景且数据种类更加丰富。
  • 提出一种将合成数据与少量真实传感器数据混合训练的方式。
• 关键技术与实现步骤:
  1. 3D Mesh 拟合: 使用深度学习模型（如 VIBE）从视频中提取人体 3D 网格。
  2. 视点合成: 在用户周围设置虚拟视角，增强数据多样性。
  3. 雷达截面积和径向速度计算: 模拟每一视频帧中的局部运动特性。
  4. 可见性和遮挡处理: 滤除被遮挡或面向背面的网格点。
  5. 初步 Doppler 信号生成: 基于径向速度构建粗粒度的信号直方图。
  6. 信号改进: 使用 Encoder-Decoder 模型优化信号，逼近真实数据特征。
  7. 活动分类训练: 使用基于试验的合成数据和 VGG-16 网络建立活动识别模型。

研究成果

• 具体成果: 用合成 Doppler 数据训练的模型在 12 类活动识别任务中的准确率达到 81.4%，结合少量真实数据后，准确率提升至 95.9%，接近甚至优于依赖所有真实数据的方法（90.2%）。
• 与现有解决方案的比较:
  • 相较于传统 Doppler 雷达系统，减少了手动数据采集的时间成本。
  • 在跨用户实验中展示了出色的迁移性能。
• 评估结果:
  • 仅合成数据训练：准确率为 81.4%。
  • 全部真实数据训练：准确率为 90.2%。
  • 合成与少量真实混合训练：准确率提高到 95.9%。
• 局限性与未来方向:
  • 本方法目前无法处理动态背景或传感器移动的场景。
  • 难以建模多用户场景中的复杂信号交互。
  • 未来可结合更复杂的生成对抗网络和时序处理模型（如 RNN 等）优化辨识方法。
  • 隐私数据的长期存储问题也需特别关注。

备注

• 代码与数据公开链接: https://github.com/FIGLAB/Vid2Doppler