理解驾驶分心：基于多模态分析的分心特征研究

文献标题

Understanding Driving Distractions: A Multimodal Analysis on Distraction Characterization

文献信息

• 主题领域: 多模态驾驶分心行为分析
• 关键词: 分心驾驶, 机器学习, 生理信号处理, 动作单元分析, 多模态交互, 多模态数据集

研究背景与问题

• 发现的挑战或问题:

  • 分心驾驶是交通事故的主要原因，但传统基于计算机视觉的方法无法全面捕捉分心表现，尤其是认知分心。
  • 尽管已有多项研究试图解决分心检测问题，但对认知和情感引发的驾驶分心行为的识别仍存在局限。

• 研究的重要性:

  • 分心驾驶每年造成大量交通事故和严重的经济损失，例如美国每年因分心驾驶导致的经济损失高达 154.33 亿美元。
  • 解决分心驾驶问题不仅能提升道路交通安全，还能为构建更智能和个性化的驾驶辅助系统提供支持。

• 研究动机与相关工作:

  • 现有研究主要集中在通过面部特征和眼动捕捉驾驶分心；然而这些方法对个体化认知和情感分心的处理有限。
  • 生理信号在认知状态的分析中显示出优势，但尚未与多模态数据结合深入研究。

解决方案

• 方法/解决方案:

  • 提出了一个新的多模态驾驶分心行为数据集，该数据集覆盖了视觉、声学、近红外、热红外、生理和语言等信息通道。
  • 数据集包括 45 名参与者在驾驶模拟环境下的多模态数据，记录了 4 种不同分心类型（3 种认知分心和 1 种身体分心）。

• 创新之处:

  • 数据集不仅捕捉物理分心行为，还特别设计了认知和情感分心任务。
  • 在分心检测和识别实验中，测试了视觉和生理信号这两种主要模态的有效性，同时探索了多模态融合的潜力。

• 实施步骤与关键技术:

  • 数据采集流程包括 “自由驾驶” 和引发 4 类分心任务的模拟驾驶环境：
    1. 文本输入 (身体、认知和视觉分心)。
    2. N-Back 任务 (认知负荷)。
    3. 听广播并评论 (认知及情绪诱发)。 4.与模拟 GPS 的语音交互（认知挫败和情绪造成的分心）。
  • 使用 OpenFace 工具提取驾驶者面部动作单元 (AUs) 的特征。
  • 采集生理信号，包括血容脉冲 (BVP)、皮肤温度、皮肤电导及呼吸率。
  • 结合滑动窗口技术提取统计特征，尝试多模态信息融合（早期融合和晚期融合）。

研究成果

• 具体成果:

  • 生理信号优于视觉模态，尤其在区分认知分心方面表现更佳。
  • 多模态方法在分心识别的二分类和四分类任务中取得最佳性能，晚期融合方法在所有任务中表现稳定。
  • 不同类型分心与指定视觉动作单元和生理特征显著相关，例如情绪诱发型分心与高频率 BVP 信号直接相关。

• 优势:

  • 实验证明多模态方法能够兼顾物理分心和认知分心的特征，融合方法在分类性能上优于单模态。
  • 所选的动作单元和生理频率特征对分心行为的检测和分类尤为重要。

• 实验或评估结果:

  • 文本输入任务的视觉模态性能表现最高（F1 分值达到 0.85+）。
  • 多模态晚期融合在二分类任务中达到 0.94 的平均 F1 分值，在四分类任务中达到 0.67 的平均 F1 分值。
  • 生理信号在更复杂的认知干扰分类任务中表现稳定，而视觉模态表现下降。

• 局限性与未来方向:

  • 当前实验内容基于模拟驾驶环境，真实世界环境中的分心类型和强度可能会有所不同。
  • 在未来工作中，建议探索其他生理信号通道（如心率变异和脑电信号），并测试数据集的跨域鲁棒性以增强模型泛化能力。