SoleCoach：基于足底压力和惯性测量单元的大型多模态语言模型技能辅导系统

文献标题

SoleCoach: Sole Pressure and IMU-based MLLMs for Skill Coaching

出版信息

• 主题领域: 基于人工智能的运动训练指导系统，使用可穿戴传感器。
• 关键词: 运动指导, 鞋垫传感器, IMU, 多模态大语言模型, 高山滑雪, 技能评估, 反馈生成, 足部压力, 姿态估计, 用户研究。

背景与问题

• 问题/挑战: 现有的指导系统严重依赖外部传感器，如摄像头或动作捕捉设备，这在滑雪等户外运动中不切实际。这些系统无法仅依赖可穿戴传感器提供全面且可操作的反馈。
• 重要性: 有效的指导对运动技能的习得至关重要，但专业教练的获取有限。一个便携的、基于传感器的系统可以使指导民主化，尤其是在户外环境中。
• 动机与相关工作: 之前的系统通过基于姿态的方法或视频分析提供反馈，但这些方法不适合户外运动中的大范围动作。尽管鞋垫传感器已被用于运动分析，但尚未充分用于生成指导反馈。本文通过利用鞋垫传感器数据和多模态大语言模型（MLLMs）填补这一空白。

解决方案

• 提出的方法: SoleCoach 是一个指导系统，仅使用鞋垫传感器数据（足部压力和IMU）结合MLLMs来解释运动模式并提供可操作的反馈。
• 创新点:
  1. 开发了一个无需外部摄像头或动作捕捉设备，仅依赖鞋垫传感器运行的指导系统。
  2. 创建了一个包含多模态数据（足部压力、IMU、3D姿态）和387条专家指导评论的高山滑雪数据集。
  3. 引入了基于身体部位的评估指标（AutoBCE）来评估指导质量。
  4. 通过用户研究和定量评估证明了系统的有效性。
• 流程与关键技术:
  • 训练一个模型，从鞋垫传感器数据中估计滑雪者的姿态。
  • 使用多模态大语言模型（Qwen2.5-7B-Instruct）通过整合姿态和足部压力数据生成指导反馈。
  • 开发一个合成数据集，将足部压力与文本描述对齐，增强模型的可解释性。
  • 使用自动化指标（如 BLEU、AutoBCE）和人工研究评估系统。

结果

• 具体发现:
  • SoleCoach 在所有评估指标上均取得最高分，包括 BLEU (5.18)、METEOR (26.7)、ROUGE-L (28.1) 和 AutoBCE-F1 (0.452)。
  • 人工评估显示，SoleCoach 的指导质量可与专家反馈媲美，选择率为45.1%（与人类教练对比）。
  • 用户研究参与者对 SoleCoach 在识别纠正点（6.1/7）和提高动力（6.7/7）方面的表现给予高度评价。
• 相较基线的优势:
  • 在生成滑雪特定指导方面，优于现有模型如 ExpertAF 和 Qwen2.5-VL。
  • 证明仅使用鞋垫传感器数据即可在提供可操作反馈方面超越外部捕获的姿态数据。
• 实验/评估:
  • 使用 BLEU、METEOR 和 AutoBCE 等指标进行定量评估。
  • 消融研究评估输入模态（足部压力、估计姿态）和合成数据集的贡献。
  • 针对六名初学至中级滑雪者的用户研究，比较三种条件：基于IMU的姿态可视化、基于鞋垫的可视化以及带有指导反馈的 SoleCoach。
• 局限性与未来工作:
  • 在捕捉环境上下文（如雪杖使用或赛道布局）方面能力有限。
  • 在优先化反馈时间和处理细微上半身动作方面存在挑战。
  • 需要进一步验证高级运动员的适用性及长期研究。

总结

SoleCoach 是一个创新的指导系统，利用鞋垫传感器数据和MLLMs为高山滑雪提供可操作的反馈。它无需外部摄像头或动作捕捉设备，非常适合户外运动。该系统在生成专家级反馈和增强用户动力方面表现优于基线模型。尽管该方法显示出潜力，但未来的工作应解决环境上下文、反馈优先化以及跨技能水平和运动的更广泛适用性问题。