Midas：从视频生成毫米波雷达数据用于训练普适且保护隐私的人体感知任务

毫米波雷达是一种很有前途的传感模态，可实现普适且保护隐私的人体感知。然而，缺乏大规模雷达数据集限制了训练深度学习模型以实现泛化和鲁棒性的潜力。为了弥补这一差距，我们设计了一个软件管道，利用丰富的视频存储库生成合成雷达数据，但它面临关键挑战：i）多人的雷达信号多径反射和衰减；ii）生成的数据不可转换导致各种应用的泛化性差；iii）视频的类不平衡问题导致模型稳定性低。为此，我们设计Midas通过两个组件从视频生成现实且可转换的雷达数据：（i）数据生成网络（DG-Net）结合了几个关键模块，深度预测、人体网格拟合和多人体反射模型，以模拟雷达信号的多径反射和衰减，输出可转换的粗雷达数据，然后使用Transformer模型生成现实雷达数据；（ii）变体孪生网络（VS-Net）选择关键视频片段以消除数据冗余，解决类不平衡问题。我们使用来自各种外部数据源的视频数据和真实雷达数据实现和评估Midas，展示了其在活动识别和目标检测任务方面相对于最先进方法的显著优势。