WAVE：用于VR舞蹈的预见性动作可视化

文献标题

WAVE: Anticipatory Movement Visualization for VR Dancing

文献信息

• 主题领域: 虚拟现实（VR）与人机交互中的舞蹈可视化技术
• 关键词: VR, 舞蹈指导, 舞蹈游戏, 运动可视化, 互动技术, 体感沉浸, 人体运动跟踪, 全身动作, 游戏技术, 用户研究

研究背景与问题

• 发现的问题与挑战:

  • 舞蹈游戏是虚拟现实中流行的游戏类型，但现有的舞蹈指导方法通常无法全面教授舞蹈的细微动作，或需要用户预先学习符号化的舞蹈标记，这对非专业人员和新手而言存在门槛。
  • 在实时且无复杂预备模式下教授全身舞蹈动作依然是一个未解决的问题。

• 重要性:

  • 舞蹈结合VR提供了健康、社交和表现的多重功能，但有效的即兴舞蹈指导能够让这个活动更具吸引力，尤其是对没有舞蹈经验、仅仅希望轻松娱乐的用户来说。

• 研究动机与相关工作:

  • 之前的研究和应用（如《Just Dance》《Dance Central》）往往依赖符号化的动作说明，或者只提供有限的抽象演示，缺乏对用户即兴模仿的实时支持。
  • 需要一种能够流畅传递全身舞蹈动作的视觉化方式，使用户能在没有提前练习的情况下实时进入舞蹈状态。

解决方案

• 提出的方法/解决方案:

  • 提出了WAVE技术，这是一种创新的舞蹈动作提前视觉化方法。在这种方法中，用户被引导置身于包含多行虚拟舞者的场景中，这些虚拟舞者以时间偏移的方式表演特定编排动作，使用户能模仿最近的舞者，并通过观察其他舞者的先行动作来预测下一步。

• 创新之处:

  • 采用“波浪”式的群舞形式，将编舞的时序感转化为一种连续的数字视觉提示。
  • 融合了舞蹈教学中的编排技法“canon”（编舞接力）和实时模仿互动，实现无符号化抽象的舞蹈指导。
  • 支持用户通过全身动作视觉化，在VR中学习复杂的舞蹈编排，而无需进入单独的练习模式。

• 实施步骤和关键技术:

  • WAVE方法引入了一种虚拟环境，在用户两侧和前方布置三排虚拟舞者，采用Oculus Quest 2进行全身动作捕捉。
  • 运用了基于Xsens动作捕捉系统录制的84秒现代舞舞蹈编排。
  • 测试多种虚拟舞者的排列形式，选择“直线排列”作为最终设计以提升可观察性和空间感。
  • 用户实验数据通过追踪用户的头和手的位置信息，量化测评用户动作与编舞目标的匹配度。

研究成果

• 具体成果:

  • 在N=36的用户研究中，WAVE方法在动作跟随的准确性上显著优于传统单舞者基准，无论是位置方向的准确性还是动作方向的匹配性。
  • 用户观察到WAVE使动作跟随更加流畅，自然且可预测。

• 优势对比:

  • 与现有的单舞者演示或符号化方法相比，WAVE提供了实时无中断的学习体验，降低了新舞蹈入门的学习曲线。
  • 提高了用户及时模仿动作的成功率，尤其在较快速度的动作中表现更优。

• 实验结果:

  • WAVE减少了用户的动作延迟甚至使少部分动作超过目标时间（提前动作），说明用户对动作时间的预期准确度有所提升。
  • 多项主观调查显示大多数用户更偏好WAVE技术并认为其更有趣和实用。

• 局限性与未来方向:

  • 当前设计仅适用于主要面向前方的编排，而不适合需要频繁变换方向的复杂舞蹈风格。
  • 用于较快节奏舞蹈时可能需要进一步优化。
  • WAVE对新用户的学习曲线影响及长期吸引力仍需进一步研究。
  • 将来应该探索WAVE在群体社交舞蹈场景下的应用，例如在社交虚拟世界中使用波浪模式支持多人协作编排。