ActivitySeeker：面向智能手机的协作式个性化人类活动发现与识别

文献标题

ActivitySeeker: Towards Collaborative Personalized Human Activity Discovery and Recognition on Smartphones

出版信息

• 主题领域: 使用智能手机进行个性化人体活动识别（HAR）。
• 关键词: 人体活动识别，智能手机IMU，个性化HAR，协作标注，迁移学习，自监督学习，活动发现，聚类，设备端训练，可穿戴计算。

背景与问题

• 问题/挑战: 传统基于智能手机的HAR系统由于单一IMU输入、多样化的手机放置方式以及用户间和用户自身的高变异性而面临局限性。现有方法要么对用户造成较高负担，要么无法提供准确的个性化识别。
• 重要性: 个性化HAR系统对于健身、健康监测以及上下文感知推荐等应用至关重要，但针对自适应、用户特定活动识别的实用解决方案仍然发展不足。
• 动机与相关研究: 之前的研究要么依赖人工标注数据集，增加了用户负担，要么使用性能有限的半监督方法。大多数数据集是在受控环境中收集的，无法捕捉真实世界的多样性。此外，针对训练数据中未见的用户特定活动类型的识别研究仍然缺乏。

解决方案

• 提出的方法: ActivitySeeker，一个结合自监督活动发现、协作标注和迁移学习的个性化HAR系统，能够在智能手机上适应个体用户。
• 创新点:
  1. 一种协作标注过程，通过用户对IMU数据聚类的最小输入进行标注，降低用户负担。
  2. 一个轻量化的设备端迁移学习框架，用于个性化活动识别。
  3. 时间域和频率域特征的集成，实现鲁棒特征提取。
  4. 一个专门设计的管道，用于应对穿戴多样性和用户自身变异性的问题。
• 流程与关键技术:
  1. 数据收集与过滤: IMU数据被分割为5秒窗口，静态窗口通过决策树过滤掉。
  2. 特征提取: 基于ResNet的模型处理时间域和频率域特征。
  3. 聚类: 凝聚层次聚类将特征向量分组为潜在活动聚类。
  4. 协作标注: 用户以交互方式标注聚类，显著减少人工工作量。
  5. 迁移学习: 一个个性化的SVM分类器在标注数据上进行增量训练，用于活动识别。

结果

• 具体发现:
  • ActivitySeeker发现了95.5%的活动类别，并在模拟在线学习中实现了93.3%的识别准确率。
  • 协作标注在标注67.4%的样本时达到了98.8%的准确率。
  • 系统的平均推理时间为36.3毫秒，能耗较低（在4200mAh智能手机电池上为268mAh/小时）。
• 相较基线的优势:
  • 在宏F1分数上优于非个性化和持续学习基线（0.895对比0.626和0.657）。
  • 用户体验与Apple Watch相当，同时提供更优越的活动发现和识别能力。
• 实验/评估:
  • 使用13名用户112.8小时的真实世界IMU数据进行模拟在线学习。
  • 两项用户研究将ActivitySeeker与手动标注和Apple Watch进行比较。
  • 消融研究验证了聚类、迁移学习和特征提取组件的有效性。
• 局限性与未来工作:
  • 未使用公开数据集限制了可重复性；作者已发布其数据集以解决此问题。
  • 用户交互过程可以进一步优化以减少干扰性。
  • 当前系统专注于原子活动；未来工作可扩展至复杂活动和静态片段。

总结

ActivitySeeker通过结合自监督学习、协作标注和迁移学习，提出了一种针对智能手机的个性化人体活动识别的创新方法。系统实现了高识别准确率（93.3%），并通过高效标注和轻量化设备端训练减少了用户负担。评估结果表明，与基线和商业设备（如Apple Watch）相比，ActivitySeeker表现优越，同时保持了用户友好体验。该系统适用于健身、健康监测和可访问性领域，并在长期可用性和复杂活动识别方面具有进一步改进的潜力。