VRhook：用于VR晕动症研究的数据采集工具

以下是根据所提供 PDF 文件提炼出的学术要点：

文献标题

VRhook: A Data Collection Tool for VR Motion Sickness Research

文献信息

• 主题领域: 虚拟现实（VR）、运动病、机器学习、数据采集
• 关键词: 自动化数据采集, 运动病, 虚拟现实, 机器学习, 数据集生成, 动态挂钩, 自我报告舒适度, 图形渲染, 风险因子检测

研究背景与问题

• 发现的问题或挑战:

  • VR技术的快速发展受到运动病问题的制约，约40%的用户会因为疲劳、晕眩和恶心等症状影响使用体验。
  • 当前VR游戏的舒适度评级大部分依赖于人工专家的分析，这一方法成本高且难以适应不断增长的游戏行业。
  • 机器学习方法有潜力改善VR运动病检测，但大规模标注数据的获取面临挑战。

• 为什么这个问题重要:

  • VR运动病不仅严重影响用户体验，还可能阻碍VR产业的进一步发展。
  • 提供自动化、规模化的数据采集解决方案，将极大促进相关机器学习研究与应用。

• 研究动机与相关工作:

  • 虽然一些研究尝试使用机器学习模型来检测运动病，但训练模型仍需要大量标注数据。
  • 传统的数据获取方法（人工标注或自制场景）存在局限性，例如劳动密集型、通用性差等问题。
  • 本文提出一种无需访问游戏源码的自动化数据采集工具，以应对上述挑战。

解决方案

• 提出的方法或解决方案:

  • 开发了一种名为VRhook的数据采集工具，可以从任何VR游戏中提取标注数据，而不需要访问其源代码。
  • 采用“动态挂钩”（Dynamic Hooking）技术，将自定义代码注入运行时内存，捕捉游戏中的视频帧和相关的变化矩阵。

• 创新之处:

  • 实现对商业VR游戏的无源码数据采集。
  • 自动提取标注数据（例如旋转、速度、加速度）以支持机器学习模型训练。
  • 支持游戏内叠加自定义界面，用于收集用户自我报告的舒适度评分。

• 实施步骤与关键技术:

  1. 挂钩技术：在低级操作系统图形堆栈（如DirectX或OpenGL）的固定地址上插入代码，以捕获标准化的图形数据。
  2. 矩阵与标签生成：利用捕获到的矩阵生成关键动作标签，包括摄像机速度、加速度、多轴旋转、视野宽度等。
  3. 视频帧捕捉：通过GPU的Swap Chain机制拦截渲染帧，并设计高效的内存缓冲策略来避免性能瓶颈。
  4. 用户评分收集：集成反馈界面（如Microsoft Surface Dial），以实时记录用户感知的运动病舒适度等级。
  5. 机器学习模型支持：生成可以训练机器学习模型的数据集，用于风险因子检测及舒适度预测。

研究成果

• 具体成果:

  • 开发了一个数据采集工具，成功从127款Steam上的热门VR游戏中提取标注数据。
  • 构建了一个两阶段机器学习管线，检测VR游戏风险因子并预测用户舒适度评分。
  • 有效验证了工具在滚轮过山车类游戏中的应用，生成的大规模数据集支持风险因子预测的准确性。

• 与现有解决方案的比较:

  • 与人工标注或定制游戏数据采集相比，VRhook具有显著的自动化与规模化优势。
  • 所用的动态挂钩技术和基于内容的标签生成方法提高了数据的质量与通用性。

• 实验或评估结果:

  • 第一阶段风险因子检测模型的准确率为76%-78%，F1分值为71%-76%。
  • 第二阶段舒适度评分预测的支持向量机模型准确率为70%，加权F1分值为69%。

• 局限性与未来方向:

  • 当前研究验证的游戏与参与者数量较少，更多数据采集与模型性能优化工作值得进一步探索。
  • 未覆盖一些较少研究的风险因子（如音效、图形逼真效果等），未来需针对这些因子展开更多研究。
  • 修改工具以支持OpenXR等新兴的VR运行时平台，并扩展到捕捉生理数据（如心率和电信号）。

总结与展望

VRhook提供了一种革命性的数据采集方案，用于解决VR运动病研究中的数据缺乏问题。其自动化数据标签生成和用户评分功能开辟了许多机器学习研究的机会，并能为VR游戏行业的风险评估与游戏设计优化提供支持。未来研究目标包括扩大数据规模、探索更多机器学习架构以及扩展工具功能至多平台环境与多维数据采集。