DiscoBand：用于手部、手臂和环境追踪的多视图深度传感智能手表表带

文献标题

DiscoBand: Multiview Depth-Sensing Smartwatch Strap for Hand, Body and Environment Tracking

文献信息

• 主题领域: 智能穿戴设备与人机交互
• 关键词: 智能手表、深度感知、手势识别、身体姿态、移动设备、交互技术

研究背景与问题

• 问题或挑战: 手部、手臂及环境的实时跟踪在许多人机交互领域都有重要意义。然而，现有的跟踪解决方案通常存在以下问题：
  • 固定性：需要外部跟踪设备，与用户移动性需求相悖。
  • 隐私问题：通常采用高分辨率摄像头，会引发隐私安全担忧。
  • 手部自遮挡问题：手势在成像过程中可能由于遮挡导致数据丢失。
• 重要性: 解决这些问题不仅可以提升当前技术，还可以扩展手部姿态跟踪的实际应用场景，例如虚拟现实、手势控制及医疗健康。
• 研究动机与相关工作:
  • 作者回顾了三种主要的手部跟踪方法：环境与用户均有仪器的方案、仅仪器化环境的方案，以及仅仪器化用户的方案。
  • 此外，腕部的仪器化被认为是一个优越的位置，可以捕获相对接近手部的数据。

解决方案

• 方法或解决方案: 研究团队提出了一款名为“DiscoBand”的腕带，它集成了16个低分辨率的超小型深度传感器，其中8个传感器用于从多个角度捕获手部数据，另8个传感器用于跟踪用户身体和环境。
• 创新之处:
  • 多视角传感器布局能够有效减少因遮挡导致的数据丢失问题。
  • 使用低分辨率深度传感器提高隐私保护，同时提供紧凑的硬件设计（≤1cm厚）。
  • 实现了扩展功能，例如估测用户上半身姿态、检测手持物品、扫描环境。
• 实施步骤与关键技术:
  • 硬件设计优化：采用柔性PCB设计，搭载VL53L5CX飞行时间传感器，每个传感器提供8×8像素的深度图像。
  • 数据处理与软件支持：实时合成多个传感器数据以构建统一的三维点云，同时利用特定机器学习模型进行手部和身体姿态预测。
  • 端点校准：利用用户身体参数（例如手臂长度、手掌尺寸）来优化模型，使其适应不同用户。

研究成果

• 具体成果:
  • DiscoBand可以以低误差跟踪用户手势，在手部和身体姿态追踪中表现出较高的精确度。
  • 测试中，手部姿态平均关节位置信误差 (MPJPE) 在单次佩戴时为11.7毫米，身体姿态关节位置误差为5.88厘米（上半身）。
  • 额外应用探讨：包括检测持握物品、环境扫描、身体扫描以及双手活动追踪。
• 优势:
  • 与现有解决方案相比，DiscoBand的隐私保护更佳，同时提供更紧凑和灵活的设计。
  • 其多视角数据使其具有更强的抗遮挡能力。
• 局限性与未来方向:
  • 屋外使用受环境光线干扰影响（如红外线干扰）。
  • 佩戴位置变化对跟踪性能有较大影响，跨用户性能仍有提升空间。
  • 传感器数量较多可能导致成本居高不下，下一代传感器可以通过提升单传感器性能来进一步简化系统。
  • 电力消耗问题仍需优化，进一步研究传感器间断工作模式。
  • 未来可以探索更多数据融合，如结合电阻微断层成像(EIT)、表面肌电图(EMG)等技术以提高系统鲁棒性。

该研究为手部和身体姿态跟踪领域提供了一个创新且具有广泛潜力的解决方案，同时提出了未来研究方向和应用场景。