'暖体': 一种用于在照片和头像上动画动态血液流动的后处理技术

文献标题

“Warm Bodies”: A Post-Processing Technique for Animating Dynamic Blood Flow on Photos and Avatars

文献信息

• 主题领域: 计算机图形学与人机交互
• 关键词: 血流, 皮肤灌注, 光体积描记术, 化身代理, 人机交互

研究背景与问题

• 作者发现的问题或挑战:

  • 目前的虚拟化身与人类面部动画缺乏血流变化等细微生理信号，使得数字化身面临“死亡面具效应”，难以被视为自然的和具有人性化表现。
  • 尽管存在皮肤渗透和外观建模技术，但无法直接应用于静态照片或视频中的数字化身动画。

• 重要性:

  • 小的外观差异在虚拟化身的自然性和生命力表达中起关键作用，有助于克服“恐怖谷”问题。

• 研究动机与相关工作:

  • 相关领域已经探索了面部表情、步态、呼吸等生理特性的动画建模，但鲜少关注皮肤血流等微弱生理信号的模拟与可视化。
  • 光体积描记术（iPPG）为高效捕捉皮肤灌注信号提供了基础，但其技术多用于信号放大，而非动画生成。
  • 研究旨在提供利用血流动画增强数字化身自然性的方法，解决现有技术在模拟非真实生物动力学上的缺陷。

解决方案

• 提出的方法或解决方案:

  • 基于生理数据驱动的模型，开发一种后处理技术，将静态照片或化身的血流场模拟转化为动态动画。
  • 方法分为三个核心组件：
    1. 空间分布: 使用注意力网络生成血流灌注强度的空间权重图。
    2. 时间动态: 模拟周期性血流脉搏波形，包括收缩峰和舒张峰。
    3. 颜色变化: 使用适当的RGB颜色通道权重（根据血红蛋白吸收特性）进行像素强度调节。

• 创新点:

  • 提出首个结合空间、时间与颜色变化的生理模型，无需复杂的三维皮肤模型即可实现照片和化身的血流动画。
  • 同时研究了心率频率变化对用户感知的影响，从而模拟角色的情绪刺激状态。

• 实施步骤和关键技术:

  • 通过深度注意力网络学习面部血流信号并生成关注区域（Attention Mask），辅助后续的像素增强。
  • 实现三通道颜色映射权重调整以增强面部动画的视觉效果。
  • 提供基线模型（纯红色增强）以验证生理驱动模型的效果。

研究成果

• 具体成果:

  • 动态模拟后的化身更易被认为自然、有生命力。
  • 通过用户研究发现具有血流动画的面孔明显提升了角色的“拟人化”和“动画性”。
  • 增加心率频率后，化身被认为处于更高的生理刺激状态。

• 与现有解决方案的比较:

  • 与传统基线方法（静态皮肤分割、简单正弦波形变化）相比，生理驱动模型在自然性、生命力和动画表现方面表现更优。

• 实验或评估结果:

  • 用户强制选择测试显示：相比原始化身和基线增强法，提出方案在“自然性”、“生命力”和“动画性”评估中占比最高（约38%-40%）。
  • 实验中进一步表明颜色空间权重对用户感知影响最大，而空间和时间动态次之。
  • 心率影响测试中发现，虚拟化身的心率频率与其被判断为“情绪激动”程度成线性关系。

• 局限性与未来方向:

  • 局限性：
    1. 血流动画信号变化较弱，影响常为无意识的，视觉效果有限。
    2. 仅在静态化身和有限动态场景中进行测试，仍需进一步验证对于细致动画的作用。
    3. 未系统深入研究不同肤色类型对动画效果的影响。
  • 未来方向：
    • 探索与其他生理过程（如呼吸、氧饱和度、出汗）的结合，以实现更全面的生理动画。
    • 调整不同肤色角色的信号强度，以改善显示效果。
    • 进行虚拟现实和开放性问卷调查以更深入理解生理动画对用户认知的影响。