ViSTAR：基于增强现实的虚拟技能训练系统（配备3D虚拟形象和LLM教练代理）

文献标题

ViSTAR: Virtual Skill Training with Augmented Reality with 3D Avatars and LLM coaching agent

出版信息

• 主题领域: 增强现实 (AR) 和人工智能 (AI) 在体育运动技能训练中的应用。
• 关键词: 增强现实, 行为技能训练, 3D动作重建, 大型语言模型, 篮球训练, 动作技能习得, 语言反馈, 视觉反馈, 自主学习, AI教练。

背景与问题

• 问题/挑战: 当前的体育训练系统，尤其是AR/VR系统，缺乏个性化、多角度可视化以及对复杂运动技能的可操作反馈。它们通常无法为多阶段、协调性动作（如高级篮球技术）提供细致的指导。
• 重要性: 有效的动作技能训练对休闲和职业运动员都至关重要，但个性化的教练资源密集且对许多人不可及。AR/AI系统可以使高质量训练的获取更加普及化。
• 动机与相关工作: 现有的AR/VR系统主要集中在战术决策或可重复技能上，但在动态运动的生态可行性方面表现不足。AI驱动的系统在生成反馈方面显示出潜力，但通常缺乏视觉和语言提示的整合，或未能解决学习中的身体化问题。

解决方案

• 提出的方法: ViSTAR是一个基于AR的系统，利用3D虚拟化身和大型语言模型（LLMs）提供多方面反馈（视觉和语言）以进行篮球技能训练，基于行为技能训练（BST）框架。
• 创新点:
  1. 将3D动作重建与LLM生成的语言反馈相结合，提供可操作的教练指导。
  2. 一个结合整体（流畅性/节奏）和局部（关节级别）指导的反馈设计框架。
  3. 一种通过将关节级别动作分析与LLMs相结合并使用随机森林分类器进行优先级排序的语言反馈生成新方法。
  4. 通过用户研究对AI与教练反馈以及AR指导训练进行实证评估。
• 流程与关键技术:
  • 指导: 3D虚拟化身以多角度视图和动作轨迹展示理想动作。
  • 建模: 分段的专家叠加和姿势匹配界面提供分步指导。
  • 练习: 用户录制并回顾自己的动作，与专家模型进行同步比较。
  • 反馈: 多方面反馈包括视觉热图、时间判断以及LLM生成的语言教练。

结果

• 具体发现:
  • ViSTAR在用户动作角度误差的减少上优于自我观察（试验1: 10.80° vs. 14.95°, p = 0.0155; 试验2: 11.32° vs. 14.60°, p = 0.0131）。
  • 在41.2%的情况下，用户更偏好AI生成的反馈而非真实教练反馈，理由是其清晰性和可操作性。
  • 100%的参与者表示ViSTAR帮助他们识别错误，94%认为其对纠正错误有帮助。
• 相较基线的优势:
  • ViSTAR在错误识别和纠正方面优于传统的自我观察。
  • AI反馈在清晰性、可识别性和可操作性方面评分高于教练反馈。
• 实验/评估:
  • 两项用户研究，共16名篮球运动员（经验范围2-18年）。
  • 任务包括语言反馈比较（AI vs. 教练）和技能训练（自我观察 vs. ViSTAR）。
  • 指标: 角度偏差、可用性、参与度和反馈质量。
• 局限性与未来工作:
  • 样本量小且评估时间短，限制了结果的普适性。
  • 当前系统缺乏多人场景、球的跟踪以及长期训练验证。
  • 动态动作中的视觉杂乱和节奏问题需要改进。
  • 未来方向包括整合多模态输入（如语音命令）和自适应反馈策略。

总结

ViSTAR是一个基于AR的技能训练系统，将3D动作重建与LLM驱动的语言反馈相结合，支持自主篮球练习。基于行为技能训练框架，它提供多方面反馈，帮助用户识别并纠正姿势、时间和协调性方面的错误。用户研究表明，与传统的自我观察和教练反馈相比，ViSTAR在动作精确性提升方面表现更优，并因其清晰性和可操作性受到偏爱。尽管探索性研究结果显示其潜力，但未来工作需要解决生态有效性、可扩展性和动态动作挑战。ViSTAR代表了通过AR和AI集成普及高质量身体化技能训练的一个重要进展。