此时此地：使用混合现实镜子创建即兴舞蹈动作

文献标题

Here and Now: Creating Improvisational Dance Movements with a Mixed Reality Mirror

文献信息

• 主题领域: 人机交互设计与表演艺术（特别是舞蹈技术的交叉领域）
• 关键词: 舞蹈, 混合现实, 增强现实, 镜子, 即兴创作

研究背景与问题

• 作者发现的问题或挑战:

  1. 舞蹈本身具有复杂性，尤其即兴创作过程中依赖舞者的身体经验和空间感知。
  2. 当前技术工具在捕捉舞蹈动作和辅助创作方面存在不足，尤其是在提供实时反馈与多维度空间感知方面。
  3. 传统舞蹈训练中的镜子虽然广泛使用，但也可能导致对身体外在形象的过分关注，从而限制即兴创作的自由。

• 问题的重要性:

  1. 舞蹈的创作依赖舞者对空间、时间和身体的深刻理解，技术工具可以辅助这种敏感性的发展。
  2. 混合现实技术具有实时互动和三维空间可视化的潜力，可更自然地融入舞蹈创作过程，避免沉浸式头显设备的局限性。

• 研究动机与相关工作:

  1. 灵感来源于William Forsythe的《Improvisation Technologies》，它使用计算机生成图像对舞蹈空间及动作进行视觉化分析。
  2. 历史上其他类似尝试包括Étienne-Jules Marey的运动轨迹捕捉器和Eadweard Muybridge的运动影像，但都未解决实时创作与即时反馈的需求。
  3. 镜子在舞蹈工作室中的广泛使用以及混合现实技术的快速发展，为设计自然、有效的舞蹈辅助技术提供了契机。

解决方案

• 提出的解决方案: 使用混合现实(MR)镜子设计四种互动视觉化功能，帮助舞者在即兴创作中更好地感知自身身体、动作轨迹及空间结构。

  1. 点对点连线 (Point-point-Line, PL): 在舞者身体关节之间创建直线，用于视觉化动作空间中的几何关系。
  2. 空气绘画 (Air Drawing, AD): 绘制舞者手部动作的轨迹，展示运动进程。
  3. 延迟存在 (Delayed Presence, DP): 镜子实时渲染延迟3D捕捉的舞者身体，用于与过去的自己互动。
  4. 身体异化 (Embodied Estrangement, EE): 用无特征的虚拟化身替代舞者的身体反射，探索陌生身体感知与创作可能性。

• 创新之处:

  1. 结合实时3D渲染和镜子反射，突破传统视频记录和二维视觉化的限制。
  2. 利用虚拟化身和动作轨迹激发舞者即兴创作中的新身体感知与运动探索。
  3. 设计适应舞者即兴创作习惯的特定互动技术，避免破坏舞者创作过程的流动性。

• 实施步骤与关键技术:

  1. 原型中使用Azure Kinect进行全身动作追踪，并通过Unity开发了四种视觉化功能。
  2. 研究方法包括技术测试、情景故事板讨论与低技术原型设计，以获得用户反馈和创意设计建议。

研究成果

• 具体成果:

  1. MR镜子的功能提升了舞者对空间和时间的敏感性，并通过视觉化反馈帮助舞者创造新的动作。
  2. DP功能尤其受到专业舞者的喜爱，因其提供了时间与身体的多层次互动机会。
  3. EE功能通过异化身体图像帮助舞者摆脱固定表演习惯，形成新表达方式。

• 与现有解决方案的优势:

  1. 相比普通镜子和视频记录，MR镜子能够实时与舞者互动，创造更丰富的创作可能性。
  2. 降低使用头显设备的技术壁垒，提供自然的视觉化体验。

• 实验或评估结果:

  1. 小组实验中，舞者在镜子前进行即兴创作，记录了他们与镜子的互动行为。
  2. 专家和学生舞者的反馈涵盖创意启示、自我感知变化及对未来功能的期待。
  3. 按需渲染反射中的空间体积、历史动作轨迹及动态反馈功能受到高度评价。

• 局限性与未来方向:

  1. 部分初级舞者对技术创新接受度较低，更倾向于传统训练方式。
  2. Kinect设备的视场受限限制了完整身体动作追踪。
  3. 未来可以研究不同经验水平舞者对MR工具的需求变化，并提升设备兼容性和功能多样性。