FaraPy：一种基于动作单元强度估计的增强现实面瘫反馈系统

文献标题

FaraPy: An Augmented Reality Feedback System for Facial Paralysis using Action Unit Intensity Estimation

文献信息

• 主题领域: 面部瘫痪康复、增强现实技术及深度学习
• 关键词: 面部瘫痪, 增强现实, 轻量级模型, 面部动作单位检测, 动作单位强度, 镜像疗法
• 会议名称: 第34届ACM用户界面软件和技术年度研讨会 (UIST '21)
• 发表时间: 2021年10月

研究背景与问题

• 发现的问题或挑战:

  1. 面部瘫痪（Facial Paralysis, FP）对患者的功能性、审美和心理状态产生了深远的影响，传统治疗方式（例如镜像疗法）的疗效受到多方面限制，如缺乏反馈机制、用户动机不足以及无法跟踪恢复进度。
  2. 当前深度学习领域中缺乏针对面部瘫痪康复目标的标准数据集与模型，尤其是不能区分单侧面部动作单位强度的模型。
  3. 现有的深度学习模型通常过于复杂，无法在计算能力有限的移动设备上实时运行。

• 研究的重要性:

  1. 面部瘫痪患者的数量较多，改善治疗手段将显著提高患者的功能恢复和生活质量。
  2. 提供实时反馈的家庭康复方案能够弥补因线下治疗资源有限而导致的康复差距。

• 研究动机与相关工作:

  1. 传统镜像疗法虽有效，但缺乏技术支持，无法明确识别患侧肌肉或量化康复效果。
  2. 增强现实技术在医疗领域（如手术、康复和训练）具有广泛的潜力，但尚未有专门针对面部瘫痪的应用。
  3. 深度学习领域已有面部动作单位（AU）检测的研究，但大多集中于双侧预测，未涉及单侧肌肉分析的需求。

解决方案

• 提出的方法或解决方案: FaraPy 是一种移动增强现实（AR）系统，结合轻量级深度学习模型 LW-FAU 和实时用户反馈界面，旨在为面部瘫痪康复提供实时支持。

• 创新之处:

  1. 提出了首个基于增强现实的实时镜像疗法反馈系统。
  2. 设计了一种新颖的轻量级深度学习模型 LW-FAU，可独立预测面部两侧的动作单位强度（AUI）。
  3. 创建了一个新的面部瘫痪数据集（FIFA），包含单侧动作强度标签。
  4. 将镜像疗法、肌肉教育和游戏化元素结合，提升用户互动体验及康复动机。

• 实施步骤:

  1. 使用学生-教师学习框架（Knowledge Distillation），通过复杂的 FAU-Net 模型（教师）训练 LW-FAU 模型（学生）。
  2. LW-FAU 架构包括深度可分离卷积和多任务学习，确保在移动设备上实现高效运算。
  3. 开发以 AR 面部叠加滤镜和实时数据可视化为主的用户界面。
  4. 设计并整合一套基于肌肉对称性评分的反馈机制及进度跟踪系统。

研究成果

• 具体成果:

  1. LW-FAU 模型在检测动作单位强度方面超越了当前最先进的 FAU-Net 模型，且能够实时运行于移动设备。
  2. 提供了第一个为面部瘫痪设计的数据集 FIFA，支持未来相关算法研究。
  3. 用户研究结果表明，85%的参与者偏好通过 FaraPy 进行康复训练，95%的用户表示愿意继续使用。

• 与现有方案相比的优势:

  1. 系统支持单侧面部动作单位强度检测，配合实时反馈，弥补了传统镜像疗法的不足。
  2. 应用增强现实技术减少用户镜像暴露焦虑，提高训练效果。
  3. 配备游戏化设计及进度跟踪功能，显著提高用户参与度和康复动机。

• 实验或评估结果:

  1. 技术评估表明，在 DISFA（健康人脸）和 FIFA（面瘫数据）数据集上的性能较好，平均误差（MAE）和一致性系数（ICC）表明模型具有可靠性。
  2. 用户研究显示系统在六个用户体验维度（吸引力、透明度、效率、依赖性、刺激性、新颖性）中均取得高分，尤其是“刺激性”和“新颖性”方面得到了用户的高度认可。

• 局限性与未来方向:

  1. 数据集和模型需要进一步扩展，例如构建更多面瘫患者数据以提高模型的泛化能力。
  2. 添加眼动追踪功能，支持对综合症相关训练的支持。
  3. 样本容量较小、受实验设备限制，需进一步开展大规模用户研究以验证研究结果的普适性。
  4. 探讨模型性能和用户长期康复效果之间的关联。