AI舞蹈模型的实时全身交互：对当代舞蹈的响应性研究

DOI

本研究探索了现有生成舞蹈模型对实时全身动捕当代舞蹈数据进行动作到动作合成的交互能力。研究团队对 Bailando++ 模型进行了适配，使其能够在交互循环中接受音乐和动作序列作为输入参数。与两位专业当代编舞师合作，使用 Optitrack 高精度动捕系统记录并整理了203个动作捕捉舞蹈序列作为「用户输入」。基于 Laban 动作分析理论从动作数据中提取了17个定量运动特征，用于量化比较动作间相关性、聚类输入数据和比较输入输出序列。实验使用了10首音乐生成各种输出，结果表明生成的动作与用户输入平均仅达到中等相关性，部分动作-音乐配对获得高相关性。高相关性生成序列被认为是响应性强且与输入序列相关的协作创作。研究讨论了交互式生成舞蹈智能体的 implications，指出实时生成应使用3D关节坐标数据而非SMPL参数，以及Laban动作分析可用于提取有用特征和微调深度学习模型。