Pantœnna：使用低轮廓天线和阻抗特性传感为AR/VR头戴设备进行嘴部姿态估计

文献标题

Pantœnna: Mouth Pose Estimation for VR/AR Headsets Using Low-Profile Antenna and Impedance Characteristic Sensing

文献信息

• 主题领域: 虚拟现实与增强现实中的用户嘴部姿态跟踪
• 关键词: VR/AR、面部表情、嘴部姿态跟踪、隐私保护、天线阻抗感测、连续跟踪、生物感测

研究背景与问题

• 发现问题与挑战:

  • 在虚拟现实（VR）和增强现实（AR）中，准确捕捉用户的嘴部姿态对提供高保真沉浸式体验至关重要，例如用于多模态输入、表情重现和语音识别。
  • 现有方法如基于摄像头的解决方案存在隐私问题（例如，捕捉用户口腔、身体上方区域甚至私密内容），而基于音频的方法仅限于检测语音，无法跟踪无声表情。
  • 基于生物感测（如电肌描记EMG）的方式通常需要与皮肤直接接触，且使用前需要校准。

• 研究重要性:

  • 嘴部姿态和表情提供了丰富的情绪和语义信息，这对VR/AR中的通信、信任和用户体验至关重要。
  • 需要一种隐私友好、无需复杂校准的技术来替代摄像头和传统生物感测方法，同时支持捕捉语音和无声表情。

• 研究动机与相关工作:

  • 现有嘴部跟踪技术在隐私、用户体验、连续跟踪等方面尚存诸多不足。
  • 类似方法（如天线阻抗感测技术）已经被证明可以应用于手势跟踪等领域，该技术具备自动化、非接触式感测的潜力。

解决方案

• 提出方法:

  • 开发了一种基于低剖面天线和阻抗特性感测的嘴部姿态跟踪系统（Pantœnna）。
  • 通过天线感知嘴部位置几何形状变化引发的阻抗特性的变化，从而推导嘴部姿态。

• 创新点:

  • 引入天线阻抗感测，用于嘴部姿态新领域的探索。
  • 设计了一种跨极化的双模式低剖面天线，便于集成。
  • 开发新模式操作，包括双模态天线、极化感测和传输数据（S21）的利用。
  • 系统能够捕捉语音及无声表情，克服了现有技术的局限性。

• 实施步骤与关键技术:

  1. 天线设计及参数仿真:
     • 开发小巧的低剖面槽天线，优化其阻抗匹配网络。
     • 使用双极化天线结构实现更高灵敏度。
  2. 信号采集与处理:
     • 记录天线的反射系数（S11）和传输系数（S21），结合频域数据生成特征向量。
  3. 机器学习预测模型:
     • 通过高效的随机森林回归方法预测三维嘴部关键点。
  4. 用户实验与评估:
     • 设计并实现了原型系统，捕捉嘴部表情及语音运动数据进行验证。

研究成果

• 具体成果:

  • 实现了一种基于天线阻抗感测的VR/AR设备嘴部姿态追踪技术。
  • 在不需要用户佩戴皮肤传感器或重度校准的情况下，获得了平均误差为2.6毫米的精度。
  • 系统生成的嘴部三维关键点数据可用于表情动画或更智能的交互接口。

• 对比优势:

  • 与现有方法相比，Pantœnna在隐私保护方面显著优于基于摄像头的方法。
  • 系统能够同时检测语音和无声表情，克服了基于音频方法的局限性。
  • 模块化设计便于集成于现有设备，超低成本材料和硬件轻便实用。

• 实验与评估结果:

  • 连续嘴部姿态跟踪: 平均误差为2.6毫米，跨佩戴会话精度保持高水平。
  • 离散表情分类准确率: 96.3%（同次会话）和91.1%（跨会话）。
  • 用户识别: 12名模拟用户中拥有99.5%的识别率。

• 局限性与未来方向:

  • 目前原型仍需要进一步优化以降低体积，改善方向性且避免环境干扰。
  • 测试数据集引入了部分头戴器材调整后的误差，未来工作可扩展到更大更多样化的人群。
  • 建议探索更高速的硬件以及多频段天线以提升实时性能。

总结

• Pantœnna提出了一种无需摄像头和麦克风即可实现隐私、安全且高精度嘴部姿态追踪的新方法。
• 系统验证显示其在表达动态跟踪与隐私保护方面的显著优势，具有探索多模态集成的潜力。