EITPose：用于连续手部姿态估计的可穿戴和实用的电气阻抗断层扫描

文献标题

EITPose: Wearable and Practical Electrical Impedance Tomography for Continuous Hand Pose Estimation

文献信息

• 主题领域: 人机交互与移动计算中的手势识别与手部姿态估计
• 关键词: Electrical Impedance Tomography, Hand Pose, Gesture Recognition, Interaction Technique, Wearable Devices, Privacy-preserving Sensors, Machine Learning, Extended Reality

研究背景与问题

• 问题或挑战:

  • 手部姿态估计如今被广泛应用于混合现实、机器人控制、游戏和手语识别领域。然而现有方法主要依赖相机，这对隐私、安全性及环境干扰提出挑战，例如光线和遮挡问题。
  • 许多现有便携式设备无法实现精准的连续手势跟踪，或者需要高功耗和设备复杂度。
  • 当跨用户或跨会话使用时，现有解决方案通常缺乏一致性和准确性。

• 重要性:

  • 隐私敏感和轻量化的手部数字化方法，特别是对于消费者友好的形式因子，仍是一个未解决的问题。

• 研究动机与相关工作:

  • 作者回顾了现有手部感知技术，包括基于光学（如RGB相机、深度相机和红外相机）和非光学方法（如电阻抗断层扫描、EMG和射频）。现有方法在隐私保护、侵入性、跟踪准确性和能耗等方面存在限制。
  • 电阻抗断层扫描（EIT）技术的医疗应用显示了其非侵入性和低成本特点，该技术被认为有潜力扩展到手部姿态估计领域。

解决方案

• 方法或解决方案:

  • 提出了一种基于EIT的腕戴设备EITPose，用于连续手部姿态估计。
  • EITPose通过在前臂周围布置8个电极来测量内部阻抗分布，从而推断3D手部姿态。

• 创新之处:

  • 提供了一个隐私优先、低功耗（0.3W）且纤薄（12mm）的设备设计，与相机相关方法精度相当。
  • 提出了一种波形检查算法，以在用户会话过程中保持信号鲁棒性。
  • 增强了设备的高通滤波和自动初始化功能，优化了皮肤-电极接触并减少了噪声。
  • 设计了对不同用户和跨会话情形表现一致的机器学习架构。

• 实施步骤和关键技术:

  1. 设备初始化: 自动优化电流注入和电压增益以减少由于皮肤差异导致的信号漂移。
  2. 硬件设计:
     • 基于高通滤波和增强模块的定制EIT板。
     • 带弹性腕带的8个不锈钢电极提供稳定的电极-皮肤接触。
  3. 软件优化:
     • 使用波形检查算法对采集信号的有效性进行实时评估。
     • 机器学习模型基于ExtraTreesRegressor算法进行姿态预测。
  4. 数据采集与分析:
     • 设计了涉及22名参与者的纵向、跨会话和跨用户研究。

研究成果

• 具体成果:

  • 实现了以下手部姿态估计精度：
    • 同一会话内平均每关节位置误差（MPJPE）为11.06毫米。
    • 跨会话误差为17.81毫米。
    • 跨用户误差为18.91毫米。
  • 在手势识别任务中，EITPose展示了比现有EIT方案（如Tomo）更出色的跨用户性能，准确度提升从38.8%到67.3%。

• 与现有解决方案比较:

  • 与DiscoBand和FingerTrak等基于相机的方法在准确性上相当，同时功耗显著降低（从3.6W降低至0.3W）。
  • 与BeamBand等基于声学的方法相比，在手势识别任务上的跨用户性能有更高的表现。

• 实验或评估结果:

  • 系统表现随着时间的推移会稍微下降，但其准确度始终高于许多相关方法。
  • 对于手势变化特点复杂、姿态众多的应用场景，EITPose表现出鲁棒性。

• 局限性与未来方向:

  • 局限性：
    • 跨会话和跨用户时的精度下降仍有改进空间。
    • 目前使用8个电极，空间分辨率有限，无法更精细地捕获前臂内部结构。
  • 未来方向：
    • 探索加入更多电极以提升分辨率，同时优化采样速率。
    • 集成IMU模块以增强传感器在姿态变化时的自调整能力。
    • 基于更大数据集开发全局机器学习模型，并以个性化方法调优。

开源与社会贡献

• 作者计划将数据集、处理管线和模型开源以推动相关研究。
• 开源网址: GitHub