WavoID：通过毫米波-语音机制实现鲁棒安全的多模态用户识别

文献标题

WavoID: Robust and Secure Multi-modal User Identification via mmWave-voice Mechanism

文献信息

• 主题领域: 多模态用户识别，融合mmWave和声音信号
• 关键词: 用户认证, 声音识别, mmWave感知, 多模态融合, 用户身份, 噪声鲁棒, 安全性

研究背景与问题

• 问题或挑战:

  1. 传统的基于声音的用户识别系统因声音的传播特性易受攻击（如重放攻击、模仿攻击和对抗性攻击）。
  2. 单模态的声音识别系统在噪声和用户运动的干扰下表现不可靠。
  3. 多模态系统尽管融合了额外信息，但很少考虑针对多模态攻击的防御或融合模式的内在相关性不足。

• 重要性: 随着语音交互设备的广泛应用，如智能音箱、金融系统等，为用户识别系统提供强大的鲁棒性和安全性至关重要。

• 研究动机与相关工作:

  1. 缺陷: 声音识别系统受环境噪声或模仿攻击干扰，准确性较差；基于无线信号的系统（如WiFi）限制较多且鲁棒性有限。
  2. 启发: mmWave雷达在感知细微震动和抗噪声上具有优势，而声音信号能够补偿mmWave信号的运动干扰。
  3. 识别系统应满足以下要求：
     • 无需辅助操作。
     • 对恶劣条件（噪音、运动干扰等）具有鲁棒性。
     • 能有效防御多模态和单模态攻击。

解决方案

• 方法/解决方案: 作者提出了一个多模态用户识别系统 WavoID，通过融合毫米波（mmWave）和微音输入的双模态特征，克服了传统单模态方法的不足。

• 创新点:

  1. 融合mmWave感知到的声带震动特点和记录到的声音信号的互补性。
  2. 提出了跨模态信号精细波形估计方法来去除噪声，并引入了双模态活体检测模块以增强防伪能力。
  3. 使用响应图生成与跨模态滤波来强化特征的表示能力。
  4. 采用专门的网络架构（CBANet）提升用户识别性能。

• 实施步骤与关键技术:

  1. 精细波形估计模块: 利用信号分解和相关性矩阵提取mmWave和声音的有用子信号，从而去除噪声、运动干扰等。
  2. 双模态活体检测模块: 分别提取mmWave的生物活体特征（如反射系数）和声音的频域特征（如CQCC），并通过相似性比较检测攻击。
  3. 跨模态特征融合模块: 使用判别相关滤波(DCF)生成响应图并通过分段卷积进行融合，增强对干扰的鲁棒性。
  4. 用户识别网络（CBANet）: 利用残差网络和注意力模块学习和识别多模态输入。

研究成果

• 具体成果:

  1. 在100名用户的数据集上，WavoID实现了超过98%的识别准确率和1.24%的平均等错率（EER）。
  2. 在常见攻击场景下（如重放、模仿、对抗性攻击等），WavoID可成功检测并拒绝超过99%的恶意样本。

• 与现有解决方案的对比优势:

  1. 多模态系统性能优于单模态（如基于声音或毫米波的单模态方法）。
  2. 在复杂场景（例如噪声干扰和运动干扰）下，表现出极高的鲁棒性。
  3. 提出的双模态检测机制和融合方案显著增强了系统的安全性。

• 实验及评估结果:

  1. 在实验中，即使在强噪声下（如70dB的各种背景噪声）或用户动作干扰下（例如行走、打电话等），系统仍维持97-99%的识别准确率。
  2. 对不同攻击（如单模态或组合攻击）均表现出较高的安全检测能力，被攻击的拒绝率接近99%。

• 局限性与未来方向:

  1. 当前硬件实现的复杂性和成本问题仍然存在，需要更低成本、更紧凑的硬件支持。
  2. 当前实验在实验室环境下进行，未来需要验证系统在开放真实场景中的效果。
  3. 进一步优化系统以降低延迟至实时性要求，并探索系统在边缘设备或移动设备上的部署潜力。