AutoVis：启用汽车用户界面交互研究的混合沉浸式分析

文献标题

AutoVis: Enabling Mixed-Immersive Analysis of Automotive User Interface Interaction Studies

文献信息

• 主题领域: 交互分析与汽车用户界面研究
• 关键词: 沉浸式分析, 交互分析, 可视化, 虚拟现实, 汽车用户界面

研究背景与问题

• 研究背景: 汽车用户界面（AUI）的评价变得日益复杂，涉及多种交互模式、驾驶自动化、异质数据和动态环境上下文。当前的分析工具往往是非沉浸式的，无法直观地理解复杂的人车环境交互。
• 发现的挑战:
  • 现有工具通常为基于桌面的非沉浸式分析，缺乏空间关联系统及关联上下文的能力。
  • 难以高效处理时间空间数据，无法全面整合观察者的注意力、行为以及环境信息。
  • 数据的异质性使公共数据集的处理和分析流程变得冗长且复杂。
• 研究动机: 提供一种将沉浸式分析（通过VR场景）与非沉浸式分析（桌面视图）结合的方法，以解决AUI研究中常见的数据可视化与分析不足。

解决方案

• 方法和方案:
  • 提出了一种名为AutoVis的新工具，将虚拟现实与桌面视图结合，用于分析汽车用户界面的交互研究。
  • AutoVis支持乘客行为、体征、空间互动以及实验事件的分析，同时集成了基于深度学习的数据预处理能力。
  • 提供虚拟车辆及环境可视化、角色模拟、轨迹动画、热图显示等功能，增强数据与环境间的关联。
• 创新性:
  • 集成非沉浸式与沉浸式分析，实现虚拟现实分析与桌面工具间的无缝切换。
  • 专为汽车领域设计了特定的3D可视化概念，包括上下文门户(Context Portals)和驾驶路径事件(Driving-path Events)。
  • 支持基于真实车辆的分析，通过“Passthrough VR”技术增强分析的真实性与触觉交互。
• 关键技术与实施步骤:
  • 数据预处理：利用深度学习模型（例如OpenPose、YOLOv4、DeepFace等）自动识别事件、情绪、对象和动作。同时通过OpenStreetMap等数据构建虚拟环境。
  • 非沉浸式桌面视图：用于查看数据概览，支持事件滤波、时间线控制、2D图表，以及实验环境的3D场景复现。
  • 沉浸式VR视图：用于详细观察实验复现，包括使用角色模拟、3D轨迹、热图以及上下文门户等功能。
  • 跨设备与多用户协作：系统允许便捷地在单人及协作分析中切换桌面和VR视图。

研究成果

• 具体成果:
  • AutoVis工具原型展示了针对真实实验任务的多场景适用性。
  • 成功实现了针对多模态交互的可视化分析（例如手势、语音、注视以及环境交互）。
  • 展示了对现实数据集（例如Drive&Act）的转换及分析能力。
  • 能在真实车辆场景中分析数据，结合了VR Passthrough增强空间和物体的交互体验。
• 优势:
  • 与现有工具相比，AutoVis大幅提升了数据的可视化质量和分析效率。
  • 创新的混合沉浸式框架弥补了传统分析工具缺乏环境上下文关联的局限。
• 实验与评价:
  • 通过实际环境中的用户案例，验证了概念的可行性与工具的操作性。
  • 使用Olsen的启发式评估，展示了工具在任务分配、协作支持及多模态交互可视化领域的优势。
  • 成功处理不同的使用场景，包括多模态自动驾驶交互、真实世界数据集分析及利用真实车辆进行的研究。
• 局限性与未来方向:
  • 数据质量和完整性在生成可视化过程中是关键挑战，例如某些数据集可能缺乏环境录像或详细时间空间数据。
  • 当前VR设备的分辨率未必能充分满足实际分析要求，需要进一步优化。
  • 为处理更大规模和复杂数据集，未来可增加智能滤波器、分区分析方法及视图自适应能力。
  • 应进一步验证工具在其他汽车交互研究领域的适用性，例如外部HMI、驾驶员注意分散等场景。