ViSig：使用穿戴式传感器自动解读视觉身体信号

视觉身体信号是传递特定应用信息的指定身体姿势。此类信号广泛应用于体育（裁判员和边线员的信号）、交通（海军军官和飞机引导员）以及建筑（吊装工和起重机操作员的信号）等领域的快速信息通信。自动解读这些信号有助于维护这些行业的安全操作，便于记录保存以供审计或事故调查，并在体育比赛中充当计分员。当需要实现这些信号自动化时，传统上是从观察者视角通过在视频源上运行计算机视觉算法来完成的。然而，基于计算机视觉的方法在光照变化、遮挡等场景下会出现性能下降，可能面临分辨率限制，且安装困难。我们的工作 ViSig 打破传统，转而部署穿戴式传感器进行信号解读。我们的关键创新是融合超宽带（UWB）传感器用于捕获身体距离测量、惯性传感器（IMU）用于捕获少数身体部位的姿势，以及光电二极管用于手指信号识别，从而实现稳健的信号解读。通过仅部署少量传感器，我们表明在板球、棒球和足球比赛以及起重机操作和航海旗语等运营安全用例中，身体信号可以在多种不同环境中被明确解读，准确率超过 90%。总体而言，我们已经看到这种方法具有很大的前景，并期待大量后续工作开始将 UWB 和 IMU 融合模态用于更一般的人体姿态估计问题。