V-DAT（虚拟现实数据分析工具）：利用多模态VR传感器数据支持自闭症人群的自我意识

文献标题

V-DAT (Virtual Reality Data Analysis Tool): Supporting Self-Awareness for Autistic People from Multimodal VR Sensor Data

文献信息

• 主题领域: 虚拟现实、无障碍系统、自闭症研究
• 关键词: 自闭症, 虚拟现实, 无障碍, 数据分析管道, 多模态传感器数据, 用户界面, 感官问题
• 会议/期刊: UIST '23（第36届ACM用户界面软件与技术年度研讨会）
• 出版时间: 2023年10月29日-11月1日
• DOI: https://doi.org/10.1145/3586183.3606797

研究背景与问题

• 问题与挑战:

  • 虚拟现实技术为自闭症人士提供了灵活的沉浸式体验，可用于社会和教育目的，但现有研究主要依赖单一信号分析，未整合多模态传感器数据。
  • 自闭症人士的行为理解需要跨不同信号（例如头部运动、眼部跟踪、生理数据）的综合分析，但当前缺乏适合自闭症研究的数据管理管道。
  • 许多研究忽略了自闭症人士本人的观点，未能确定数据分析结果的接受度。

• 重要性:

  • 多模态数据的综合分析有助于登出与传感器数据相关的行为特征，并开发自闭症训练技术。
  • 能让自闭症人士反思其行为，同时帮助专家通过数据支持的定量证据进行临床决策。

• 研究动机与相关工作:

  • 虚拟现实被广泛用于支持自闭症人士的日常技能、驾驶、面试技巧和社会互动训练。
  • 传感器数据（例如眼动跟踪、音频、生理信号）已证明能够帮助理解自闭症人士的压力、参与度和焦虑程度。
  • 研究需要解决数据收集和分析一致性问题，并为专家和普通群体提供更全面的数据可视化工具。

解决方案

• 方法与方案:

  • 提出了V-DAT（虚拟现实数据分析工具），一个集成的多模态传感器数据管理管道，用于自闭症研究和训练。
  • V-DAT采用四种主要传感器数据类型：头部位置与旋转、眼部运动、音频数据以及生理信号（EDA, BVP, HR, TMP, IBI）。
  • 实现了数据收集、处理和可视化，包括异常检测、音频分析、视线区域定义和生理信号处理。

• 创新点:

  • V-DAT不仅提供数据收集，还通过综合数据可视化同步视频呈现训练分析结果，使数据的结果解释更加直观。
  • 支持多种传感器模态数据的处理与同步，这在现有自闭症虚拟现实研究中尚属首次。
  • 提供用户友好的交互界面，使自闭症人士与专家能够轻松访问并利用分析结果。

• 实施步骤及关键技术:

  • 数据收集：使用头戴显示设备（HMD）和Empatica E4腕带设备，结合Unity3D开发环境实现数据采集。
  • 数据处理：引入异常检测API以及音频数据分块模块，并通过同步技术保证多模态数据的时间线对齐。
  • 可视化：开发集成视频与数据可视化的Web界面，将训练片段和传感器数据同步呈现。

研究成果

• 具体成果:

  • V-DAT能够通过图形界面展示自闭症人士在虚拟训练中的多模态传感器数据（例如头部运动、眼部聚焦、音频音量、生理信号异常点）。
  • 提供用户友好的界面，帮助自闭症人士反思其训练内容，支持他们更有效地独立分析和社会互动。

• 优势与实验结果:

  • V-DAT成功解决了以往单模态数据分析的局限性，提供了同步、直观的多模态数据可视化。
  • 在一项案例研究中，参与的20位自闭症人士通过V-DAT反思其行为，提高了自我效能感（PSE得分显著增加，p < 0.05）。
  • 研究表明专家认为V-DAT可用于临床诊断，帮助缩小在家庭护理中心和门诊之间的沟通差距。

• 局限性与未来方向:

  • 可能的隐私问题：参与者担忧数据被使用或共享的范围。
  • 实际应用挑战：专家指出由于设备故障或加载问题，系统连接可能在医院环境中面临挑战。
  • 可扩展性：需要开发更多适合自闭症人士的虚拟训练内容或情景，以涵盖更广泛的社会互动场景。

总结

V-DAT通过整合多模态传感器数据管理管道为自闭症人士提供量化数据支持的行为反思机会，并帮助专家做出数据驱动的临床决策。该研究展示了V-DAT在促进社会技能训练和诊断中的潜力，同时提出了通过改善数据管理和内容扩展实现可持续应用的方向。