当XR和AI相遇时 - 关于扩展现实和人工智能的范围审查

文献标题

When XR and AI Meet - A Scoping Review on Extended Reality and Artificial Intelligence

文献信息

• 主题领域: 扩展现实（Extended Reality, XR）与人工智能（Artificial Intelligence, AI）的结合研究
• 关键词: 扩展现实, 虚拟现实, 增强现实, 人工智能, 机器学习, 交互技术, 用户研究, 数据集, 虚拟代理, 生成模型

研究背景与问题

• 问题与挑战:

  • XR 和 AI 的交叉领域研究是迅速增长的热点，但主要研究主题和它们结合的优势尚不清晰。
  • 如今有关 AI 应用于 XR（如前庭渲染，物体跟踪）和 XR 支持 AI（如神经网络可视化）的研究逐步突出，但领域内的系统性综述和研究方向整理仍然不足。

• 重要性:

  • 随着 XR 技术和 AI 方法的进步，它们的结合能够推动如交互理解、生成环境、虚拟助手等多个领域的深远研究。
  • 确定当前研究主题和研究方向可为未来产生更具影响力的成果铺垫。

• 研究动机与相关工作:

  • 现有的综述多聚焦于单一特定应用（如手术模拟、医学教育），而非在 XR 和 AI 的基本研究问题上全面整合。
  • 例如关于智能虚拟代理、深度学习增强增强现实（AR）等成果虽有，但还存在研究碎片化的问题。

解决方案

• 方法与解决方案:

  • 采用范围综述（Scoping Review）的方法，梳理 2619 篇论文，最终对 311 篇从 2017 至 2021 年发表的文章进行提炼。
  • 构建一个 26 码的编码机制，评估论文的研究方向、贡献类型、涉及算法、工具、数据集等方面。

• 创新之处:

  • 提出了一个五个主要主题的研究分类框架：
    1. 使用 AI 创建 XR 世界（如生成环境、虚拟形象、虚拟代理）。
    2. 使用 AI 理解 XR 场景中的用户（如用户特征预测，XR 生理表现估测）。
    3. 使用 AI 强化 XR 的交互（如手势识别、定向行走技术）。
    4. 与智能虚拟代理的交互。
    5. 使用 XR 来支持 AI 方法的改进设计。
  • 提供了研究中常用的数据集、软件、算法网络和评估机制的清单。

• 实施步骤与核心技术:

  1. 系统性检索文献，结合包括 AI 和 XR 的术语构造相关搜索关键词。
  2. 通过多层筛选和标注，共同梳理并总结了 311 项研究成果。
  3. 将提取的数据分为技术应用、创新交互、用户评估、分析框架四个分析维度。

研究成果

• 具体成果:

  • 总结了 XR 和 AI 交叉领域的现状，提炼出五大核心研究主题，覆盖前沿问题以及相关实现技术。
  • 提供了一个涵盖广泛领域（如用户预测以减少 VR 疾病、多模态交互设备）的现有工具和方法清单（详见附录）。
  • 引入 13 项研究机会，包括在合成内容生成、新算法优化、伦理讨论等方面的未来潜力。

• 与现有解决方案对比:

  • 首次系统性整理了 XR 和 AI 研究的主要趋势、问题和方法。
  • 在 XR 和 AI 的应用、用户评价和社会效应等问题上，与现有综述相比，提供更广且深入的研究视野。

• 实验或评估结果:

  • 数据显示，对于 77% 的论文，AI 在 XR 中旨在实时性应用；52% 的论文解决了实时部署问题。
  • 许多模型的训练数据偏重「西方、教育程度高、工业化背景」的用户群体，表明在多样性和通用性上的不足。

• 局限性与未来方向:

  • 局限于近年来（2017-2021）的论文，部分前沿动态未能完全覆盖。
  • 提出未来值得探索的方向包括但不限于：AI 技术在虚拟世界合成中的应用、多任务通用模型、AR 领域的深入拓展、用户隐私保护和伦理审视。