VibWalk：映射日常行走的下肢触觉体验

研究背景与问题

• 发现的问题或挑战：现有的研究多关注足压感测及下肢交互，但通过足部振动解析触觉信息仍较少探索，尤其是行走中足-地接触产生的广频带振动信号及其解码。
• 问题的重要性：
  • 人体足底是敏感的皮肤区域，在行走过程中能感知动态的皮肤变形和接触信息。这种触觉信息对行走安全、尤其是老年人防跌倒的风险管理尤为关键。
  • 足底的触觉感知可以帮助识别地面材质和条件，对城市路况监控、行人导航及机器人学习具有潜在应用。
• 研究动机与相关工作：
  • 尽管已有穿戴式设备对足部施加压力或跟踪步态，但振动传感和触觉感知研究仍处于早期阶段。
  • 利用振动信号进行地面分类或增强现实中的触觉反馈尚未得到充分探索。

解决方案

• 提出的方法：

  1. 提出了一种名为 VibWalk 的穿戴式足部系统，捕获行走活动中的广频带振动信号。
  2. 集成加速度计 (ACC) 和麦克风 (MIC) 两种传感器，用于分别记录低频（0～800Hz）和高频（35～18000Hz）的振动信号。
  3. 建立数据驱动的深度学习模型（基于 ResNet 框架）对触觉信息进行解码。
  4. 结合 GPS 定位，实现触觉信息的空间映射。

• 创新之处：

  • 融合了广频带振动感知（ACC 和 MIC）来捕获丰富的振动特征。
  • 提出了结合时间域、频谱域特征的深度学习模型，显著提高了地面材质识别准确性。
  • 开发了一套触觉地图生成机制，可以标记地面材质、路面纹理及步态信息。

• 实施步骤：

  1. 设计硬件设备：结合定制的 3D 打印板、双加速度计、麦克风、RGBD 摄像机和树莓派。
  2. 收集数据：从 31 名参与者在 18 种材质表面上行走数据，共记录 31 小时振动信息。
  3. 特征提取：通过 STFT 提取 ACC 和 MIC 的频谱特征，融合时间域与频谱特征。
  4. 模型训练：采用改进的 ResNet 模型对18种地面材质进行分类。
  5. 可视化触觉信息：结合 GPS 数据生成触觉地图，并支持多客户端协作采集。

研究成果

• 具体成果：

  1. Earth material的分类准确率达 95.4%（用户内）和 87.1%（跨用户）。
  2. 对湿润与干燥的地面辨别准确率分别为 96.9%（MIC）和 90.1%（ACC）。
  3. 振动频谱特征能有效区分颗粒大小 (R² > 0.93)，支持检测道路破损。
  4. 实现触觉信息实时空间映射，能够生成具有地面材质类别标记的触觉地图。

• 优势：

  • 性能超越传统的单一加速度计或麦克风解决方案。
  • 同时提取步态和地面振动特征，提供综合的触觉感知能力。
  • 可扩展应用于城市管理（如检测路面积水或裂缝）及仿真环境中的沉浸式触觉反馈。

• 实验或评估结果：

  • 单一 MIC 的分类准确率为 92.9%(用户内) 和 85.9%(跨用户)，ACC 的为 81.2%(用户内) 和 70.6%(跨用户)。
  • MIC 与 ACC 的融合提高了性能：用户内达 96.1%，跨用户达 88.5%。

• 局限性与未来方向：

  1. 模型在某些材质（如沥青、混凝土及石板）识别时存在混淆，需要改进分类器泛化能力。
  2. 麦克风传感受到环境噪声干扰较大，需改善信号鲁棒性。
  3. 当前设备对用户佩戴便利性存在限制（如需固定振动传输板），未来计划小型化设计、更贴合日常生活的穿戴方式。
  4. 扩展研究范围至更多种地面材质及人类活动识别，支持基于边缘计算的分布式数据处理。
  5. 探索触觉反馈设备，为虚拟现实和增强现实中的用户提供沉浸式体验。

总结

VibWalk 通过融合减轻噪声干扰的传感硬件、高效的数据驱动模型和空间映射技术，有效解决了足底触觉研究中的关键难题。研究成果不仅扩大了人机交互和智能设备的应用边界，也为未来触觉反馈系统的设计提供了重要参考。