为多个关节体生成触觉运动效果以改善4D体验：一种摄像机空间方法

文献标题

生成多关节体的触觉运动效果以提升 4D 体验：一种基于相机空间的方法

文献信息

• 主题领域: 触觉交互、多感官媒体(4D)、虚拟现实
• 关键词: 4D, 虚拟现实, 多感官媒体, 触觉, 运动效果, 运动代理, 自动生成, 关节体, 运动合成

研究背景与问题

• 发现的问题或挑战:

  • 当前多感官媒体（mulsemedia，如 4D 影院和 VR 游戏）中的运动效果仍依赖手工设计，效率低下且耗费成本。
  • 面向复杂的多关节体，其运动信息难以直接转换为运动效果。
  • 多关节体的运动生成缺乏成熟的自动化算法，且当前运动代理的处理方法仅针对单一刚体或有限的刺激维度。

• 为什么重要:

  • 自动化的运动效果生成方法将大幅降低多感官内容生产成本，并推动更广泛的应用推广。
  • 通过着重增强对象运动与用户触觉体验的同步性，可以显著提升跨感官的用户体验。

• 研究动机和相关工作:

  • 作者延续了之前针对刚体运动代理和 3D 相机空间运动表达的研究。
  • 目前用于对象运动效果的生成算法仅适用于单一刚体，忽略了复杂多关节体的运动表达需求。
  • 文献综述表明面向多感官内容的自动化生产仍存在显著技术缺口。

解决方案

• 提出的方法:

  • 将运动代理的定义从单一刚体扩展到单个多关节体，以及多个多关节体。
  • 设计了一种基于运动合成的算法，通过权重分配模拟对象及其部分的动作，结合运动提示算法（MCA）生成运动效果。

• 创新点:

  • 首次提出了自动合成多关节体对象运动效果的算法框架。
  • 开创性地提出用于动态运动代理生成的权重分配策略，适应多关节体的复杂内部和外部运动。
  • 在简化复杂关节体运动信息的同时，提供了设计指南和对用户体验的优化。

• 实施步骤:

  1. 单体运动代理生成:
     • 使用数学公式整合关节体的局部速度和大小信息。
     • 分析并比较不同权重分配方法（Size、Momentum、Single）。
  2. 多体运动代理生成:
     • 针对多个关节体设计权重分配方法，如 Additive、Salient、Uniform 等。
     • 提出动态场景运动代理（scene motion proxy）。
  3. 运动提示转换:
     • 将生成的运动代理通过缩放和运动提示算法（MPC）转化为运动椅的具体指令。
  4. 用户实验与优化:
     • 验证算法生成的运动效果的质量与用户体验的关系。
     • 提出基于实验结果的设计指南。

研究成果

• 具体成果:

  • 提出了自动生成多关节体运动效果的完整算法。
  • 通过用户研究验证了不同权重策略对观众感知体验的显著影响。
  • 发现最佳权重分配策略（如 Momentum、Additive 和 Salient）能够增强用户的视觉与触觉一致性。

• 与现有解决方案的比较:

  • 相较于传统手工设计或仅适用于单刚体的方法，新算法在处理复杂多关节体时更加高效且效果更佳。
  • 结合动态权重的 Salient 政策在表达视觉注意力集中时表现最优。

• 实验及评估结果:

  • 用户实验表明，针对单体的“Momentum”策略和多体的“Additive”与“Salient”策略在多数情况下表现最佳。
  • 尽管 Additive 和 Salient 提供了动态且真实的运动效果，但在高速场景中可能显得过于强烈，需通过运动强度调整进行优化。

• 局限性与未来方向:

  • 局限性:

    • 当前算法对多关节体的运动信息提取依赖于动画数据或 Unity3D 模型，而无法直接适用于实际拍摄视频。
    • 未处理超过两个角色或角色和道具同时运动的复杂场景。
    • 用户研究在固定摄影角度下进行，尚未评估运动镜头对算法生成效果的影响。

  • 未来方向:

    • 集成最新的计算机视觉算法（如光流、深度估计和场景流）用于自动提取关节体运动信息。
    • 优化“Salient”策略中的注意力模型，使其更精准地捕捉动态视觉关注点。
    • 针对更多复杂场景进行算法扩展，如多角色或道具交互情境。
    • 构建多感官效果库以实现更大范围的多场景动态生成。

这个研究显著推动了 4D 多感官媒体技术的发展，为内容创作者和设计者提供了新的自动化工具和设计指引，同时为进一步研究奠定了坚实基础。