在多感官内容中自动调整触觉运动效果以唤起特定感觉

研究背景与问题

• 作者发现的问题或挑战：
  随着多感官媒体（如4D电影、VR游戏）的发展，触觉运动效果被广泛应用以提高内容的沉浸感。然而，设计这些效果需要解决两个核心任务：1）生成与视频内容一致的运动效果；2）精细调整这些效果以激发用户特定的感官或情感体验。目前，已有研究集中在自动生成初始草稿效果（如基于相机轨迹的运动生成），但缺乏对后续的精细调整过程的研究。

• 问题的重要性：
  精细调整触觉运动效果的目的是提升用户体验质量并传递设计师预期的用户感受。如果这些感知和情感属性未被有效地激发，用户的多感官体验可能会严重受限，从而无法与视频内容产生深层次的联动。

• 研究动机与相关工作：
  尽管此前研究探讨了触觉刺激在感知和情感上的作用（如触觉的顺滑性和情感的紧张感），但这些研究大多忽略了与视频内容的联动关系。此外，尚缺乏涵盖用户感受调整的系统化自动生成方法。

解决方案

• 作者提出的方法或解决方案：
  提出了一个自动调整触觉运动效果的方法，包括以下主要步骤：1）通过三种运动调制技术调整运动效果，包括低频波动增强、 高频分量幅度调整、和运动峰值采样插值；2）基于回归建模，设计用户感受预测模型，分别针对运动和视听效果的感知作出建模；3）将目标感受映射为运动调制参数，以实现预定的感知或情感目标。

• 该解决方案的创新之处：

  1. 首次结合了视听效果对用户感受的影响，使运动效果的调整兼顾视听内容。
  2. 提出了三种运动调制方法，它们能够在不破坏原始视觉一致性的同时调整用户情感和感受。
  3. 开发了一种计算模型，可通过两步流程（从目标感受逆向推导运动参数）自动生成调整后的触觉运动效果。

• 实施步骤及关键技术：

  1. 感受建模：通过实验研究，建立了从调制参数到用户感受（如“平滑-粗糙”）的回归模型；同时，建立了视频和运动联合作用下感受变化的预测模型。
  2. 目标映射：输入目标感受和对视频的感知值，生成单独的运动目标感受值，通过回归模型反向计算相应调制参数。
  3. 调制实现：应用调制技术生成满足目标感受的运动效果。

研究成果

• 取得的具体成果：
  分别在两个维度（感知和情感）上验证了所提出的运动调制方法和回归模型。实验显示，“平滑-粗糙”和“害怕”等感受能够通过调制方法较为准确地激发，而“深浅”等感受上的效果较有限。

• 与现有解决方案的优势：

  1. 同时考虑视听和运动对用户体验的综合影响，而非单一运动或感知效果。
  2. 提供了一种可以直接用于生产流程中的自动调整方法，大幅减少了设计园作者重复调试的时间成本。

• 实验或评估结果：

  1. 平滑-粗糙和害怕情感的调制效果最为显著，与目标值之间的平均皮尔逊相关系数分别达到0.96和0.89。
  2. 通过实际用户实验验证，调制后的运动效果能够显著接近设计师预期的目标感受，特别在4D电影场景中效果尤为显著。
  3. 与设计师的反馈表明，该方法可以明显节省作者时间，尤其对以第一人称视角的POV视频应用最为有效。

• 局限性与未来方向：

  1. 部分用户感受（如“深浅”）由于其受视频的影响更强，当前方法在有效激发目标感受上受限。
  2. 不同个体的感知差异可能导致结果变异。此外，第三人称视角视频及复杂叙事情境的应用效果需进一步探索。
  3. 在未来研究中，将研究更加个性化的模型，并探索其他多模态（如振动与热觉）对用户感受的补充效果。

总结：该研究显著推进了触觉内容自动化生成领域的前沿，为多感官媒体的设计提供了重要参考和技术支持。未来将重点关注模型的可扩展性及更多样化的感官融合技术。