VAX: 使用现有基于视频和音频的活动识别模型引导隐私敏感传感器

音视频模态因其数据丰富性和预训练模型可得性常用于人体活动识别(HAR)，但引发隐私担忧。研究人员因此探索了毫米波多普勒雷达、IMU、运动传感器等隐私侵入性较低的方式，但这些方法难以跨环境泛化且需要大量原位训练数据。本文提出VAX系统(Video/Audio to 'X')，利用现有音视频ML模型获取训练标签来训练各类隐私敏感传感器ML模型。训练完成后可移除音视频传感器以更好保护隐私。我们在10位参与者家中部署VAX进行17种日常活动测试，结果表明VAX可使用摄像头和麦克风检测约15种活动，平均准确率90%；对于这些可检测活动训练的隐私保护传感器模型平均准确率84%，无需用户输入；当为VAX音视频管道未检测到的活动(约2/17)添加一个标注样本后，可检测全部17种活动，准确率84%，显著优于每种活动一个标注样本的监督学习方法(79%)，标注负担减少8倍。