HMInference：推断汽车屏幕上的多模态人机交互

视频

驾驶需要高度的认知能力，驾驶员需要专注于一级驾驶任务。然而，每次与用户界面系统的交互都可能导致潜在的分心。基于现场收集的用户交互日志洞察以及实时估计最可能的交互模式来设计用户界面，有助于开发支持专注的用户界面。然而，问题在于如何在真实驾驶场景中预测用户交互。本文提出了HMInference，一个利用用户交互日志数据的汽车机器学习框架。HMInference根据用户界面领域（如导航、媒体、设置）和驾驶上下文（如车辆轨迹）分析用户的交互序列，以预测不同的交互模式（如触摸、语音）。在10折交叉验证中，HMInference实现了73.2%的平均准确率（标准差：0.02）。我们的工作推动了需要在车内场景中进行用户交互预测的领域发展，例如实现自适应系统设计。