EchoBreath：通过智能眼镜的声学传感在自然环境中实现连续呼吸行为识别

研究背景与问题

• 发现的问题或挑战：

  1. 当前缺乏一种不引人注意且适用于真实世界环境的可靠手段来监测异常呼吸行为，如咳嗽、喷嚏和鼻涕声等。
  2. 传统被动声音感知方法往往无法区分用户的异常呼吸行为和环境中的干扰声音（主体感知能力不足），可能导致误报告。
  3. 许多现有方法在噪声干扰及非目标行为（如饮食、说话）背景下的适用性有限。
  4. 长时间佩戴耳机等硬件设备可能导致用户不适或不便，在社交环境中显得突兀。

• 重要性： 呼吸相关的症状如咳嗽、鼻涕、喷嚏等的频率和持续时间监测对个人健康至关重要，可用于早期检测慢性病（如慢性阻塞性肺病和哮喘）或预测健康风险。

• 研究动机与相关工作：

  • 现有基于声学感知的监测技术多集中于单一模式（如被动声音感知），难以区分用户行为和环境噪声来源。
  • 耳机平台虽在某些研究中集成了多模传感器，但长期佩戴问题尚未妥善解决。
  • 本研究提出设计一种基于智能眼镜的呼吸监测方案，兼具主体感知能力、不显眼性、高持久性和用户友好性，以解决上述挑战。

解决方案

• 提出的方法或解决方案： 本研究提出了一种名为 EchoBreath 的结合主动声学和被动声学感知的监测系统，安装于智能眼镜设备。它通过眼镜上的扬声器和麦克风发射并捕获超声波回波，分析呼吸行为。

• 解决方案的创新之处：

  1. 结合主动和被动感知：主动声学感知利用超声波捕获细微面部动作和呼吸引起的气流变化，增强在复杂场景下的主体感知能力和抗噪声能力。
  2. 轻量级神经网络：采用专为移动设备优化的多模态卷积神经网络（CNN），通过“Null”类别和开放集决策机制过滤掉与目标无关的活动。
  3. 智能眼镜硬件集成：将传感组件（扬声器和麦克风）嵌入眼镜框架，使其适用于长时间佩戴且无社会窘迫感。

• 实施步骤及关键技术：

  1. 数据获取：
     • 眼镜扬声器发射超声波信号并采集主动回波信号，同时记录被动声音数据。
  2. 特征提取：
     • 被动声学：10kHz-16kHz 的带通滤波提取目标频率信息，转换为STFT频谱。
     • 主动声学：对超声回波信号计算相关性光谱，保留反映用户面部气流和动作的特定频率段。
  3. 神经网络推断：
     • 独立处理主动和被动声学特征，将每种特征通入轻量级CNN。
     • 基于融合策略动态加权两种感知结果，结合“Null”类别与开放集过滤机制排除与呼吸无关的干扰。
  4. 评价与优化：
     • 设计用户依赖和用户独立模型，并通过实验验证在噪声和非目标行为下的性能。

研究成果

• 具体成果：

  1. 在实验室环境中，EchoBreath 可识别 6 种典型呼吸行为（鼻呼吸、口呼吸、咳嗽、喷嚏、鼻涕声、嗓子清理）的准确率达到 93.1%。
  2. 在半野外测试中（如家中、办公室和餐厅），整体准确率仍能保持在 82.8%-89.8% 之间，显示了该系统的鲁棒性。
  3. 系统融合主动声学的能力显著提升了抗噪声和主体感知能力（例如，在外部咳嗽干扰时准确率提升 10% 左右）。

• 与现有解决方案的比较与优势：

  1. 与仅使用被动声学感知的现有系统相比，EchoBreath 提升了在多参与者场景中的主体感知能力（干扰下准确率从 72% 提高到 85%）。
  2. 与基于耳机或其他形式可穿戴设备的方法相比，眼镜形态的舒适性和隐私保护（无直接皮肤接触且频率隐私安全）具有明显优势。

• 实验或评估结果：

  1. 对于具有非目标干扰（如外部咳嗽、餐厅噪音等）的复杂场景，结合主动与被动感知的系统表现最佳。
  2. 通过用户依赖性模型微调，仅需 10 分钟的特定用户数据训练，即可将准确率从基础的 66.4% 提升到 89.8%。

• 局限性与未来方向：

  1. 无覆盖症状类别：当前仅支持 6 类呼吸行为，未来可扩展更多细粒度的呼吸症状分类。
  2. 高强度运动干扰：系统在用户剧烈运动时表现下降，计划通过更高鲁棒性的信号处理算法改善。
  3. 实验场景局限：实验主要在家庭、办公室等简单场景中完成，未来需要更复杂的真实世界验证，包括医院等多用户高频环境。
  4. 多模集成发展：计划进一步探索与其他健康平台（如智能手表）的联合使用，构建更全面的健康监测生态系统。

总结来看，EchoBreath 提供了一种基于智能眼镜的低功耗、多模态感知的呼吸监测解决方案，解决了主体感知与抗噪声的技术难题，具备在复杂真实环境中推广应用的潜力。