C-Face：基于深度学习面部轮廓重建连续面部表情的耳挂式微型相机系统

视频

DOI

C-Face（轮廓人脸）是一种耳挂式可穿戴传感技术，使用两个微型相机通过深度学习面部轮廓来连续重建面部表情。当面部肌肉运动时，从耳挂相机视角观察到的面部轮廓会发生变化。这些微妙的变化被输入到深度学习模型中，该模型连续输出42个面部特征点，代表嘴巴、眼睛和眉毛的形状和位置。为评估C-Face，我们将技术嵌入耳机和耳塞中开展了九名参与者的用户研究，将系统输出与前置摄像头拍摄图像经Dlib1计算机视觉库输出的特征点进行对比。结果显示，所有42个特征点的平均误差在耳塞中为0.77毫米，耳机中为0.74毫米；20个主要特征点（捕捉面部最活跃区域）的平均误差在耳塞中为1.43毫米，耳机中为1.39毫米。连续重建面部表情的能力为多种应用带来新机遇。作为演示，我们实现了两个应用：面部表情检测（输出表情符号）和无声语音识别，并进一步讨论了在实际应用中部署C-Face的机遇与挑战。