DanXeReflect：与时空过去的动作进行交互，实现具身化反思性的编舞协作

文献标题

DanXeReflect: Interacting with the Spatio-Temporal Past Movements for Embodied, Reflective Choreographic Collaboration

出版信息

• 主题领域: 基于XR的反思性编舞协作工具
• 关键词: XR, 编舞, 动作捕捉, 具身交互, 反思性协作, 异步反馈, 3D虚拟人, 注释工具, 舞蹈排练, 时空数据

背景与问题

• 问题/挑战: 传统基于视频的编舞反思工具受限于其平面、屏幕边界的格式，这种限制使得反馈脱离了身体和空间的上下文。这些工具无法捕捉编舞反馈中具身的、动态的和空间的特性。
• 重要性: 解决这些限制可以增强编舞协作，使舞者和编舞者能够在保留其实践具身特性的同时，进行异步的反思和反馈交换。
• 动机与相关工作: 现有的XR和视频注释系统主要集中于训练、个人练习或现场表演，但缺乏对异步、分布式编舞协作的支持。现有工具如Choreographer’s Notebook和iDanceForms受限于线性导航和抽象注释，而XR系统如WhoLoDance和YouMove则更注重实时反馈，而非反思性对话。

解决方案

• 提出的方法: DanXeReflect是一个XR系统，将排练视频转化为交互式3D虚拟人，通过基于姿态的搜索、身体锚定注释和通过示范修订，支持具身反思和异步协作。
• 创新性:
  1. 将时空运动数据重新定位为协作交流的核心。
  2. 引入具身交互技术，包括基于姿态的搜索、身体锚定注释和通过示范修订。
  3. 提供关于具身运动表示如何支持分布式、异步协作的实证见解。
• 流程与关键技术:
  1. 视频到3D虚拟人重建: 使用动作处理管道将排练视频转化为时空3D虚拟人。
  2. 具身反思技术: 在虚拟XR工作室中实现基于姿态的搜索、实时具身修订和关节特定注释。
  3. 注释存储: 将注释映射到时间段和特定身体部位，保留其空间和时间上下文。
  4. 回顾与再参与: 允许用户异步地重新访问和完善注释与修订。

结果

• 具体发现:
  • 具身查询帮助用户通过动觉记忆定位编舞片段，促进对整体序列和流动性的反思。
  • 具身修订使用户能够并排比较原始动作和替代动作，提高了反馈的清晰度和精确性。
  • 身体锚定注释通过直接将反馈链接到特定关节和动作，改善了沟通的清晰性。
  • 参与者在3D环境中通过多模态反馈更有效地表达了动作特性（努力、空间、形状、措辞）。
• 相较基线的优势:
  • 与平面视频相比，DanXeReflect提供了更清晰的编舞结构洞察，支持异步协作，并实现了多模态、身体特定的反馈。
  • 与现有XR系统不同，它强调反思性对话和异步使用，而非实时训练或表演增强。
• 实验/评估:
  • 对9名参与者（19-28岁，舞蹈背景多样）进行用户研究，任务包括自我反思和同伴反馈。
  • 任务包括回顾反馈、注释自己的表演以及对他人表演提供反馈。
  • 分析重点在于可用性、动作表达和协作潜力，使用Laban动作分析（LMA）作为框架。
• 局限性与未来工作:
  • 对某些舞蹈类型（如嘻哈）和表现性线索（如流动性、面部表情）的虚拟人逼真度有限。
  • 静态分段与措辞不一致；未来系统应支持动态、用户可调的分段。
  • 仅支持上半身跟踪；全身跟踪可增强修订能力。
  • 实验室环境评估限制了对真实排练整合的理解；需要长期的实际部署研究。

总结

DanXeReflect将排练视频转化为交互式3D虚拟人，支持具身的、异步的编舞协作。通过基于姿态的搜索、身体锚定注释和具身修订，该系统增强了清晰度、精确性和自我反思能力。用户研究表明，该系统能够深化编舞对话，并扩展反思性实践的范围，超越传统工作室的限制。尽管在虚拟人逼真度、分段和跟踪方面仍存在局限性，DanXeReflect展示了XR如何将视频重新定义为分布式协作的具身资源。