AgentCoach：基于LLM的运动技能学习自适应指导反馈系统

文献标题

AgentCoach: LLM-Based Adaptive Coaching Feedback for Motor Skill Learning

出版信息

• 主题领域: 基于大型语言模型（LLMs）的运动技能学习自适应反馈系统。
• 关键词: 运动技能学习，自适应反馈，大型语言模型，指导要点，姿态估计，多模态反馈，体育训练，教程视频，个性化指导，生物力学。

背景与问题

• 问题/挑战: 现有的运动学习系统提供的反馈有限且缺乏适应性，无法达到人类教练提供的细致、个性化指导水平。这些系统通常专注于视觉姿态比较，但未能将错误与可操作的指导原则联系起来，也无法根据学习者的进展调整反馈。
• 重要性: 高质量的个性化反馈对于有效的运动技能习得至关重要，但由于成本、地理位置和可用性限制，获取人类教练的指导往往受到限制。
• 动机与相关工作: 之前的系统依赖于姿态估计和视觉反馈，但未能提供语义上有意义的自适应指导。LLMs和视觉语言模型（VLMs）的进步为弥合这一差距提供了可能性，可以从教程视频中提取指导要点（CPs）并生成上下文感知的反馈。

解决方案

• 提出的方法: AgentCoach 是一个多模态的 LLM 驱动系统，通过将高层次的指导原则与从教程视频中提取的可测量运动学参数相结合，提供基于 CP 的自适应反馈。
• 创新点:
  1. 一个将高层次指导与低层次基于姿态的测量相连接的 CP 到参数映射库。
  2. 一个多模态反馈系统，通过结合视觉诊断和基于 CP 评估及表现历史的自适应语言指导提供反馈。
  3. 一个历史感知的进展策略，根据学习者的进展调整反馈类型和时机。
• 流程与关键技术:
  1. 使用 Gemini 和 MediaPipe 从教程视频中提取 CP 和参考动作片段。
  2. 使用预定义分类法将 CP 映射到可测量的参数（例如关节角度、肢体方向）。
  3. 将用户动作与参考参数进行评估，并跟踪基于 CP 的表现历史。
  4. 提供结合视觉叠加和语言提示的自适应反馈，这些提示通过 LLM 生成并通过文本转语音（TTS）合成。

结果

• 具体发现:
  • 在少样本设置下，CP 提取的 F1 分数为 91.57（宏观）和 90.07（微观）。
  • CP 到参数映射的精确匹配分数达到 93.69%（宏观）和 94.06%（微观）。
  • 用户研究参与者认为 AgentCoach 的反馈更易理解（平均值 = 4.12）、更具操作性（平均值 = 4.21），且更能增强信心（平均值 = 4.00），相较于基线系统。
  • 在 AgentCoach（C3）条件下，学习准确性提升最显著，在第 10 次重复时达到 ≥95%。
• 相较基线的优势:
  • 在清晰度、可操作性和学习效果方面，优于仅视觉反馈（C1）和诊断性语言反馈（C2）。
  • 降低了心理负担（平均值 = 2.62），相比 C1（平均值 = 3.51）和 C2（平均值 = 3.50）。
• 实验/评估:
  • 使用 55 个教程视频验证 CP 提取和参数映射。
  • 进行两阶段用户研究，24 名参与者在三种反馈条件（C1–C3）下练习六种运动技能。
  • 评估指标包括精确率、召回率、F1 分数、学习准确性，以及关于可用性和体验的主观评分。
• 局限性与未来工作:
  • 仅限于姿态反馈，无法处理肌肉激活或重量分布。
  • 需要干净的参考视频片段，难以应对复杂、连续或复合技能。
  • 错误对齐的固定阈值可能无法适应多样化用户。
  • 姿态估计误差可能降低反馈准确性。

总结

AgentCoach 是一个基于 LLM 的系统，将教程视频转化为自适应、基于 CP 的运动技能学习指导。通过结合视觉诊断与历史感知的语言反馈，它将高层次的指导原则与低层次的姿态分析相结合。用户研究表明，与非自适应基线相比，该系统在提升学习效果、用户信心和反馈清晰度方面表现出色。目前虽然仅限于离散技能的姿态反馈，但未来工作将扩展其能力以涵盖非姿态提示、复杂动作序列及个性化阈值。AgentCoach 代表了可扩展、个性化运动技能训练的重要一步。