Contextra: 使用低功率相机和传感器融合在手腕上检测物体抓取

了解用户何时拿起物体在许多情境感知应用中起着至关重要的作用。例如，跟踪饮水量、计算消耗的卡路里，或提醒您带钥匙，这些都是涉及拿起物体的情境中心场景。在本项目中，我们提出了Contextra，一种佩戴在手腕上的系统，使用传感器融合来识别用户何时抓取物体。传感器融合允许以单一通道无法单独实现的方式感知抓取的全部过程。在我们的手环中，我们将EMG和IMU数据与三个低功率红外相机捕获的视频融合。这些相机使用主动照明技术仅捕获靠近传感器的特征，从而保护隐私。除了抓取本身，我们认为Contextra在為因功耗和隐私问题无法持续运行的现有AI设备提供持续的情境触发意识方面起着基础性作用，从而扩展其功能。