MUST：基于智能手表的驾驶员状态与接管性能多模态预测框架

文献标题

MUST: Smartwatch-based Multimodal Framework for Predicting Driver State and Takeover Performance

出版信息

• 主题领域: 使用可穿戴传感器监测驾驶员状态及其在条件自动驾驶车辆中的接管表现。
• 关键词: SAE三级自动驾驶、智能手表传感、多模态融合、接管准备度、驾驶员状态预测、情感计算、CARLA模拟器、生理信号、人机交互、自适应界面。

背景与问题

• 问题/挑战: 现有驾驶员监测系统在实用性和可靠性方面存在局限性，侵入式生理传感器、脆弱的基于视觉的方法以及简单的多模态融合策略无法在复杂的真实场景中准确预测接管准备度。
• 重要性: 确保自动驾驶车辆中的安全及时接管对于防止因情境意识不足、反应时间慢以及接管请求（TORs）期间的情绪干扰而导致的事故至关重要。
• 动机与相关研究: 之前的研究探讨了影响接管表现的因素，例如非驾驶相关任务（NDRTs）和情绪状态，但缺乏可扩展、非侵入式且在真实驾驶条件下验证的预测解决方案。生理传感器和基于视觉的系统不实用或不可靠，而多模态学习方法通常无法有效建模情绪与行为之间的相互影响。

解决方案

• 提出的方法: MUST（Multimodal Unified Smartwatch-based Takeover），一种利用智能手表信号（PPG和IMU）结合车辆遥测数据和预调查数据实时预测驾驶员状态和接管表现的框架。
• 创新点:
  1. 基于智能手表的驾驶员监测，采用非侵入式可穿戴传感器与车辆遥测数据集成。
  2. 非对称因果融合机制，建模运动与情绪特征之间的延迟交叉注意力。
  3. 通过整合行为和情感状态推断，增强接管指标（TOT和ACT）的预测能力。
  4. 在13个基于CARLA的多样化场景中进行验证，48名参与者表现出在动态危险情况下的稳健性能。
• 流程与关键技术:
  • 阶段1：模态特定的专家编码器将PPG、IMU、车辆遥测和上下文数据处理为共享潜在空间。
  • 阶段2：融合模块采用因果交叉注意力和特征线性调制（FiLM），非对称地整合运动和情绪特征。
  • 输出被导向任务特定的头部，用于运动预测、情感估计和对齐强化。
  • 使用CARLA模拟器评估，与智能手表数据和多模态警报同步。

结果

• 具体发现:
  • TOT预测准确率：91.4%。
  • ACT回归均方根误差（RMSE）：2.3秒。
  • NDRT分类准确率：95%。
  • 情感估计中的效价准确率：68%；唤醒准确率：51%。
  • 实时推断延迟：约10.3毫秒（97 FPS），在NVIDIA RTX 4090上运行。
• 相较基线的优势: TOT准确率与基于摄像头和生理系统的方法相当，但采用非侵入式可穿戴传感器。与之前的方法不同，MUST对完整的ACT轨迹进行建模，为更丰富的安全评估提供支持。
• 实验/评估:
  • 在13个涉及车辆、行人和障碍物的危险驱动场景中，对48名参与者进行实验。
  • 在危险发生前5秒发出多模态警报；数据以100 Hz同步。
  • 消融研究证实PPG对情绪建模的重要性以及IMU对NDRT分类的关键作用。
• 局限性与未来工作:
  • 静态模拟器缺乏惯性力，降低了生态效度。
  • 参与者群体仅限东亚地区，需要更广泛的人群验证。
  • 在罕见场景（如振荡模式切换）中鲁棒性较低。
  • 未来工作包括道路验证、多样化参与者招募以及隐私保护的边缘处理。

总结

MUST提出了一种基于智能手表的多模态框架，用于预测条件自动驾驶车辆中的驾驶员状态和接管表现。通过利用非侵入式可穿戴传感器和非对称因果融合，该框架整合行为和情感信号，增强了接管指标（如TOT和ACT）的预测能力。在多样化的CARLA场景中验证，MUST实现了高准确率，同时解决了现有系统的局限性。未来研究旨在扩大人口多样性、在自然环境中验证，并优化自适应策略以实现伦理和包容性部署。