DeepTake: 使用多模态数据预测驾驶员接管行为

文献标题

DeepTake: Prediction of Driver Takeover Behavior using Multimodal Data

文献信息

• 主题领域: 自动驾驶、人机交互、深度学习、驾驶员行为预测
• 关键词: 自动驾驶, 多模态数据, 接管行为, 人机自动化交互, 深度神经网络

研究背景与问题

• 问题/挑战:
  • 自动驾驶车辆需要在特定情况下将控制权交还给驾驶员（如技术限制或复杂路况），但是驾驶员可能无法及时做出安全响应。
  • 当前接管行为预测模型的准确性（61%-79%）还不足以满足实际应用需求。
  • 执行非驾驶相关任务（Non-driving related tasks, NDRTs）时，驾驶员的注意力和反应时间受到严重影响。
• 重要性:
  • 安全的驾驶接管行为是自动驾驶车辆成熟的关键之一，延迟或质量较低的接管可能导致危险。
  • 高效的接管预测可提高自动驾驶车辆的安全性以及驾驶员的用户体验（如更自由地执行非驾驶任务）。
• 研究动机与相关工作:
  • 现有研究主要分析接管时间与质量的影响因素，但缺乏能同时预测“接管意图”、“接管时间”和“接管质量”的综合性框架。
  • 基于机器学习的早期研究已尝试预测接管时间或质量，但其准确性较低（最多约79%）。

解决方案

• 提出方法/框架:
  • 开发了一个基于深度神经网络（DNN）的框架，DeepTake，用于预测驾驶员接管行为的三个方面：
    1. 接管意图（是否会响应车辆的接管请求）。
    2. 接管时间（从接管请求到驾驶员开始手动操作所需的时间）。
    3. 接管质量（接管后的驾驶操作质量）。
• 创新之处:
  • 使用多模态数据来源，包括驾驶员生物特征（眼动、心率、皮肤电反应等）、车辆动态数据（车速、方向盘角度等）、非驾驶任务信息以及驾驶员的主观压力工作量调查问卷。
  • 首次实现对接管意图、时间和质量的统一预测框架，并显著提高准确性。
  • 深度学习模型处理多模态数据，为接管预测提供高可靠性和通用性。
• 实施步骤:
  1. 数据收集：
     • 从可穿戴设备（如眼动追踪眼镜、心率传感器）获取生物特征数据。
     • 使用驾驶模拟器生成接管相关的数据。
     • 记录非驾驶任务和驾驶条件。
  2. 数据预处理：
     • 多模态数据的清洗、缺失值补全和时间窗口切分（10秒）。
     • 提取特征，包括眼动（凝视位置、瞳孔大小等）、心率变异性（SDNN、RMSSD等）、皮肤电反应峰值等。
  3. 数据标签生成：
     • 根据接管行为分为多个类别（如接管意图：有意图或无意图；接管时间：低、中、高）。
  4. 模型训练：
     • 使用多层DNN结构进行分类任务，包含三个隐藏层和不同的输出层。
     • 对不平衡类别数据使用SMOTE过采样技术。
  5. 性能评估：
     • 使用10折交叉验证对模型进行评估，并与其他六种机器学习模型做对比。

研究成果

• 具体成果:
  • DeepTake 在接管意图、接管时间和接管质量的预测任务中，分别达到了96%、93%、83%的准确性。
  • 此准确性远超现有的最先进方法。
• 与现有解决方案相比的优势:
  • 提供统一框架实现多维度接管行为预测，而现有工作只能聚焦单一维度（意图或时间或质量）。
  • 显著提高了预测准确性（达96%意图预测）。
• 实验与评估结果:
  • DeepTake 在所有三个预测任务中表现优于常见的机器学习模型（如Random Forest、Logistic Regression）。
  • 接管时间与接管质量的预测实现高AUC值（分别为0.96和0.92）。
  • 混淆矩阵显示，DeepTake 在分辨临界类的能力上非常可靠。
• 局限性与未来方向:
  • 数据仅来源于驾驶模拟器，对真实场景的泛化能力需进一步验证。
  • 需扩展数据集规模和多样性，支持更多接管任务类别。
  • 探索针对实时应用的进一步优化，例如减少特征维度以提升模型效率和可解释性。

总结

• DeepTake 提出了一种新颖且统一的框架，为自动驾驶车辆中的接管行为预测提供了解决方案。通过显著提高接管意图、时间和质量的预测准确性，框架不仅增强了自动驾驶的安全性，还改善了驾驶员的用户体验。
• 未来工作重点在于将框架部署到实际场景中，并优化模型的实时适应性与可解释性，推动自动驾驶技术更好地服务于公共交通和个人驾驶者。