Wrist2Finger：利用环-表式可穿戴设备感知指尖力以实现力感知手部交互

DOI

手部姿势跟踪对于推进人机交互应用至关重要。当前方法（如基于视觉的系统和可穿戴设备）在便携性、可用性和实用性方面存在局限性。我们提出了一个新颖的可穿戴系统，使用最小的环-表式传感器设置重建3D手部姿势并估计每根手指的力。佩戴在手指上的戒指整合了惯性测量单元(IMU)来捕捉手指运动，而手腕上的智能手表单通道肌电图(EMG)传感器检测肌肉激活。通过利用运动传感和肌肉信号的互补优势，我们的方法在紧凑的可穿戴形态下实现了准确的手部姿势跟踪和抓握力估计。我们开发了一个双分支Transformer网络，通过跨模态注意力融合IMU和EMG数据，同时预测手指关节位置和力。自定义损失函数实施运动约束以确保平滑的力变化和逼真的力饱和。对20名参与者进行评估，他们执行日常物体交互手势，平均每关节位置误差(MPJPE)为0.57厘米，指尖力估计(RMSE: 0.213 N, r=0.76)。我们在实时Unity应用中展示系统，实现响应用户施加力量的虚拟手部交互。这个最小的力感知跟踪系统对VR/AR、助力假肢和人体工程学监测具有广泛影响。