理解现实与虚拟中的社会互动

研究背景与问题

作者发现了哪些问题或挑战？

• 尽管虚拟现实（XR）技术为社会互动开辟了新的可能性，但XR媒介中的社会互动体验与面对面的互动体验之间仍存在显著差异。
• XR中的社会信号（如面部表情、手势等）可能不稳定、语义变化或直接缺失。
• 当前仍缺乏能够定量比较现实与虚拟环境中社会互动的研究方法和数据。

为什么这个问题很重要？

• 社会互动是人类交流不可或缺的一部分，而在虚拟环境中实现与现实互动同等的流畅性和真实性，对于设计有意义、令人满足的沉浸式体验至关重要。
• XR正在成为工作、学习和娱乐的重要媒介，了解和解决其局限性能够促进技术的进一步发展并改善用户体验。

研究动机与相关工作

• 作者受到行为科学和心理学研究的启发，这些领域对面对面互动信号以及其社会意义进行了大量研究。
• 尽管现有工作已探讨XR中的社会互动（如协作、动作同步等），但缺少跨现实与虚拟环境直接比较社会信号的实验设计和数据。
• 商业XR产品（如Meta Horizon、Bigscreen等）广泛采用，但这些平台忽略了真实互动信号的重建及其对用户体验的影响。

解决方案

作者提出了哪些方法或解决方案？

• 本研究设计了一种实验方法，通过构建物理和虚拟“双胞胎”环境来直接比较面对面和XR媒介中的社会互动。
• 创建了一个包含1.8百万行数据的开源数据集，涵盖涉及空间、凝视、手势追踪以及声音等信号。

该解决方案的创新之处是什么？

1. 全新的实验设计：

   • 同时在物理和虚拟环境中执行相同的社会任务，保证实验条件的一致性。
   • 使用仪器化的设备（如Project Aria和Meta Quest Pro）捕获参与者在这两种情境中的行为数据。

2. 数据分析方法：

   • 开发了一套以社会信号为基础的分析工具，以量化对现实与虚拟交互的直接比较。
   • 测试“社会同步性”（如头部运动同步）和“社会信号稳定性”等指标，展示了互动效果的差异。

3. 数据开源化：

   • 首次提供用于跨现实与虚拟环境研究的基线数据及配套分析框架。

实施步骤是什么？使用了哪些关键技术？

1. 实验设计：

   • 36名参与者分为6组，每组在物理实验室及其虚拟孪生环境中完成四项社交任务（如两人对话、排列任务、猜谜游戏等）。
   • 使用一个“拉丁方”设计对任务顺序进行平衡，同时收集所有信号（包括头部位置、手势方向、凝视数据和语音数据）。

2. 数据收集平台：

   • 物理实验使用Project Aria设备，利用精确的空间和手部追踪；
   • 虚拟实验使用Meta Quest Pro头戴设备，带有面部、手部和目光追踪功能。

3. 数据处理与分析：

   • 通过统一的框架和时间轴对不同实验条件下的数据进行整合。
   • 计算社会同步性、平等性指数、对话平衡等指标。
   • 对实验后的访谈进行质性编码，补充定量数据。

研究成果

取得了哪些具体成果？

1. 定量结果：

   • 社会信号中的“空间位置”在现实和虚拟环境中稳定一致，与传统的理论假设一致。
   • XR环境中的“社会同步性”显著低于面对面互动，这使得建立社会联系和亲密感更加困难。
   • 对话中“沉默”的比例在XR条件下显著增加，表明互动流畅性较差。

2. 质性观察：

   • 参与者报告XR环境中面部表情和微小社会线索（如目光对视）不足，对任务完成形成障碍。
   • 尽管量化结果显示空间使用方式一致，但参与者主观上感到XR中的空间感有局限性，显示出“体验差距”。

3. 开源数据与工具：

   • 提供一个开放的高质量社会互动数据集和分析工具，为后续研究设立基准。

与现有解决方案相比，它有哪些优势？

• 作者首次实现了跨现实与虚拟性的直接对比，实现更精确的社会信号测量。
• 数据开源和标准化为未来多用户XR实验提供了范例，并推动XR领域的协作研究。

实验或评估结果是什么？

• 定量数据表明某些社会信号（如空间距离）具有跨现实和虚拟环境的一致性，但同时验证了XR中社会同步性和对话流畅性的不足。
• XR中的交互挑战（如面部追踪、手势反应迟滞）是导致体验不佳的主要原因。

局限性与未来方向

1. 局限性：

   • 数据主要采自共同物理场地的参与者；与完全分布式的虚拟互动相比，可能忽略了一些关键社会信号。
   • 当前XR技术（如面部追踪的分辨率）可能限制了实验结果的应用范围。

2. 未来方向：

   • 提高数据分析深度，将更多复杂的社会信号纳入研究，例如对话节奏和情感表达。
   • 探索技术干预（如改进虚拟角色表情算法）以缩小XR与现实体验之间的“体验差距”。
   • 扩展实验至完全分布式XR互动场景，并探索个性化虚拟化身的潜在影响。

总结

该论文在理解社会互动在现实与虚拟环境中的迭代上迈出了重要一步。通过精确的实验设计和数据分析，作者展示了两种情境中社会信号的稳定性、不足及改进的潜力。论文的开源数据和标准化框架设立了理论和应用研究的新基准，同时为未来的社会XR体验改进提供了关键性见解。