EyeEcho：眼镜上的连续低功耗面部表情追踪

文献标题

EyeEcho: Continuous and Low-power Facial Expression Tracking on Glasses

文献信息

• 主题领域: 低功耗设备与面部表情追踪技术
• 关键词: 眼镜可穿戴设备, 面部表情追踪, 声学传感, 低功耗, 连续追踪, 人机交互, 脉冲连续波频率调制技术, 深度学习, 可扩展性, 实时处理

研究背景与问题

• 发现的问题或挑战:

  • 现有的技术主要依赖于摄像头等高功耗传感器，难以在眼镜等轻量化设备上实现连续面部表情追踪。
  • 面部表情的上下部分信息获取存在不对称性，低脸部表情的获取尤为困难。
  • 设备电池寿命有限，传统解决方案功耗过高。
  • 多场景环境（如重戴设备或移动状态）下的性能稳定性仍是难题。

• 为什么问题很重要:

  • 面部表情是交互应用（如视频通话、非语言交流、手语等）的核心，通过面部表情追踪可以改善用户沉浸式体验并开拓交互方式。
  • 使用智能眼镜或增强现实眼镜等设备追踪面部表情是一个有潜力且重要的方向，便于日常便携应用。

• 研究动机与相关工作:

  • 过去的可穿戴式表情追踪如摄像头、耳机或颈部传感器，尚未实现连续表情追踪。
  • 声学传感技术在静态的离散表情识别中展现潜力，但未在眼镜上开发高分辨率连续表情追踪系统。

解决方案

• 作者提出的解决方案:

  • EyeEcho系统: 一种基于声学传感的眼镜设备，通过两组扬声器和麦克风发射及接收声学信号，捕捉面部皮肤微小的变形，分析这些变形实现面部表情连续追踪。

• 创新点:

  • 利用 FMCW (频率调制连续波) 音频信号检测皮肤变形，避免使用摄像头，降低功耗同时保护隐私。
  • 通过深度学习（ResNet-34模型）处理差分回波数据，实现52个表情混合参数的连续预测。
  • 实现了设备的轻量化和低功耗，支持长时间使用。
  • 在商业智能手机上实现实时处理，扩展便携性与应用场景。

• 实施步骤与关键技术:

  1. 硬件设计: 在眼镜腿位置安装传感器模块，包括MEMS麦克风与扬声器，以及嵌入式蓝牙模块实现数据传输。
  2. 信号处理: 使用FMCW传感器探测皮肤变形，计算回波轮廓，并通过差分处理抵消背景噪声，同时检测表情变化。
  3. 深度学习模型: 基于52个混合参数训练预测模型并优化至移动设备。
  4. 评估与优化: 通过用户测试与数据强化提高在多场景下的鲁棒性。
  5. 集成实时处理: 部署低延迟模型于智能手机，使表情渲染与应用变得实时。

研究成果

• 具体成果:

  • 性能表现:
    • 坐姿静态MAE (平均绝对误差) 为22.9；行走场景下的MAE为26.9，维持了较高精度。
    • 在半自然环境（例如卧室、客厅、厨房）中测试，达到平均MAE 44.4（Day 1）和45.5（Day 2）。
    • 连续表情追踪在不同动态场景及重戴设备后仍具高稳定性。
  • 便携性与低功耗:
    • 设备功耗仅167mW，搭载Google Glass电池时可连续使用约14小时；换用高效扬声器后功耗可优化至71mW。
    • 在Android手机上实现了实时处理，从传感到预测耗时仅34ms。
  • 应用拓展:
    • 实现实时可视化表情映射到个性化3D头像。
    • 实现健康监控功能，包括通过口周变形检测眨眼，F1分数为82%。

• 与现有解决方案相比的优势:

  • 对比同类产品如EarIO，该方案:
    • 表情追踪MAE表现更优，所需训练数据量更少（仅需4分钟）。
    • 提供眨眼检测能力且实现更长时间的性能稳定性。
    • 集成至智能眼镜的设计更适合长期佩戴。

• 实验或评估结果:

  • 提供了经过严格实验验证的解决方案，对比不同频率范围与环境噪声条件下的性能表现。
  • 在室外低温环境测试揭示了冷却对传感器频率响应的影响，为未来研究提供参考。

• 局限性与未来方向:

  • 局限性:
    • 用户面部覆盖物（如头巾或重胡须）可能影响信号传输。
    • 动态剧烈活动（如跑步或剧烈运动）可能降低性能。
  • 未来方向:
    • 探索更高频率范围和传感器优化以进一步降低功耗。
    • 在多种现实场景与环境中扩展实验验证，例如户外、工作场所。
    • 改进算法以增强对各种用户特征的适配能力。
    • 进一步加强功耗控制和隐私保护技术。

如需深入了解，请提供更具体的需求或补充问题！