我们如何评估沉浸式环境中的体验？

文献标题

How Do We Evaluate Experiences in Immersive Environments?

出版信息

• 主题领域: HCI和XR研究中沉浸式环境的评估方法论。
• 关键词: 沉浸式体验、评估方法、虚拟现实、增强现实、问卷调查、任务表现、生理测量、以用户为中心的设计、计算建模、开放科学。

背景与问题

• 问题/挑战: 沉浸式体验评估方法存在碎片化现象，方法不一致、构念重叠，且不同研究之间的可比性有限。核心构念如“临场感”和“具身性”的定义和测量方式存在冲突。
• 重要性: 对沉浸式体验进行可靠评估对于验证和改进游戏、健康、教育以及协作等领域的交互系统至关重要。
• 动机与相关工作: 以往研究集中于特定构念、方法或技术，但缺乏对跨领域和跨年代评估实践的综合性总结。尽管基础性教科书和综述强调了该领域的丰富性，但未能统一其多样化的视角。

解决方案

• 提出的方法: 对来自七个顶级会议（ACM CHI、UIST、VRST、SUI、IEEE VR、ISMAR、TVCG）的375篇论文进行自下而上的范围综述，以绘制评估实践图谱并为沉浸式体验研究提供前瞻性议程。
• 创新点:
  1. 对跨技术和领域的沉浸式体验评估实践进行实证综合。
  2. 识别评估方法中的重复模式、不一致性和空白点。
  3. 提出领域敏感、以用户为中心、计算集成的未来评估方法。
  4. 倡导开放和可持续的评估基础设施。
• 程序和关键技术:
  • 使用关键词查询在ACM Digital Library和IEEE Xplore中进行文献检索。
  • 根据纳入/排除标准筛选并编码论文。
  • 按设备模式、贡献类型、应用领域和评估方法对论文进行分类。
  • 分析方法采用趋势、问卷使用情况和方法组合。

结果

• 具体发现:
  • 问卷调查在评估方法中占主导地位（N = 321，占85.6%），其次是任务表现（N = 235，占62.7%）、访谈（N = 169，占45.1%）、系统性能指标（N = 52，占13.9%）和生理测量（N = 40，占10.7%）。
  • 多方法评估越来越普遍，42.1%的论文使用两种方法，32.3%使用三种方法。
  • 问卷使用率随时间增加，最近的研究使用多达八种问卷工具。
• 相较基准的优势:
  • 对跨领域、设备和年代的评估实践进行全面映射。
  • 识别方法上的空白点和整合机会。
  • 强调更智能、上下文敏感的方法组合，而非冗余积累。
• 实验/评估:
  • 分析1995年至2024年间发表的375篇论文，按会议、设备类型、贡献类型和应用领域分类。
  • 评估方法分为五类：问卷调查、任务表现、系统性能、访谈和生理测量。
• 局限性与未来工作:
  • 数据集排除了一些会议和跨学科视角。
  • 基于关键词的检索可能遗漏使用不同术语的相关论文。
  • 未来工作应整合跨学科洞见、计算建模和开放科学基础设施。

总结

本文对沉浸式体验评估实践进行了全面综述，综合分析了来自七个主要会议的375篇论文数据。研究强调了方法、构念和指标的碎片化现象，提出了领域敏感、以用户为中心、计算集成的评估方法。主要发现包括问卷的主导地位、多方法评估的兴起，以及方法倾向于可行性而非概念适当性。作者倡导更智能的评估方法组合，并呼吁开发开放、可持续的基础设施，以支持沉浸式体验研究的可重复性和累积性进展。