基于视觉基础模型的人类活动识别数据集弱标注方法

由于基于可穿戴设备的数据标注迄今为止仍然是一项繁琐且耗时的任务，需要研究人员投入大量时间，与相关领域可用的数据集相比，人类活动识别领域的基准数据集缺乏丰富性和规模。最近，像CLIP这样的视觉基础模型获得了显著关注，帮助视觉界推进寻找鲁棒、可泛化的特征表示。由于可穿戴设备领域的大多数研究人员依赖视觉模态来克服可穿戴数据表达能力的限制，并准确标注其将发布的基准数据集，我们提出了一种新颖的基于聚类的标注流程，以显著减少需要人工标注的数据量。我们表明，使用我们的方法，标注质心片段足以在三个公开的HAR基准数据集上实现接近90%的平均标注准确率。使用弱标注数据集，我们进一步证明我们可以匹配全监督深度学习分类器在所有三个基准数据集上的准确率。代码以及补充图表和结果可通过github.com/mariusbock/weak_har公开下载。