用虚拟现实对话中的言语和非言语行为量化社会联系

研究背景与问题

作者发现了哪些问题或挑战？

• 社交虚拟现实 (VR) 的发展：随着VR成为社交和协作的平台，尽管利用语音和虚拟化身的交流形式正在获得关注，但动态、客观地评估VR中的社交体验仍属挑战。
• 现有评估方法的局限性：当前大部分研究依赖主观问卷来衡量社交体验，这种方法难以连续捕捉社交体验的动态变化，同时可能中断自然的互动流程；此外，主观问卷在真实场景中的低响应率也限制了结果的推广价值。

为什么这个问题很重要？

• VR中的社交体验决定了其作为未来沟通工具的有效性，而理解和量化这种体验对开发更好的人机交互设计、社交VR应用以及复杂环境中的沟通优化具有重要意义。
• 提供非侵入式、连续的社会体验评估可推进技术应用，例如社交平台设计优化、用户体验改善以及实时交互的智能适配。

研究动机与相关工作

• 动机来源于既有研究：例如，Templeton等人在面对面交流中发现了反应时间与社会连接感之间的相关性，而本研究试图将这一成果扩展到虚拟现实环境。
• 相关研究已探讨转接、注视和点头行为在面对面交流中的作用，但少有将这些行为量化并关联到VR中的社交体验。

解决方案

作者提出了哪些方法或解决方案？

• 提出一种基于**语言和非语言行为指标（如反应时间、注视时间、点头频率等）**的社交体验客观量化方法。
• 在实验中收集了VR对话参与者的行为数据（语音、注视、姿势等），通过分析这些行为动态预测主观感知的社会连接感。

该解决方案的创新之处是什么？

1. 动态评估：不依赖自我报告，而使用通过VR硬件实时捕获的行为数据。
2. 行为标准化：定义并量化了在VR平台中可捕捉的关键社交行为指标。
3. 自动化和隐私友好：数据分析通过语音活动检测等算法自动完成，避免直接分析对话内容，从而保护隐私。

实施步骤是什么？使用了哪些关键技术？

1. 实验设计与数据采集：
   • 52名参与者（26对）在VR环境中进行10分钟的非结构化二人对话。
   • 使用Meta Quest Pro头显和实验应用记录语音、注视、姿势和表情数据。
   • 参与者以30秒为单位回顾对话，并评估社交连接程度。
2. 行为特征提取：
   • 分析语言行为（如反应时间、发言时长和转接频率）。
   • 提取非语言行为：如注视模式（目标注视持续时间、互注时间）和点头频率。
3. 数据分析：
   • 使用线性混合效应模型分析行为特征与感知社交体验（如社交连接感、社交存在）的关系。
   • 提出自动化语音和非语言行为检测算法，增强大规模应用的可行性。

研究成果

取得了哪些具体成果？

• 语言行为与社交连接的关系：
  • 确认了Templeton等人发现的反应时间与社交连接感负相关的结果在VR环境中也成立。
  • 发现发言时长与更强的社会连接感正相关，更多的转接事件与更高的对话参与感相关。
• 非语言行为的预测能力：
  • 转接间隙中的较长注视时间与较低的社交连接感关联。
  • 转接期间频繁点头与更高的社交连接感正相关。

与现有解决方案相比，它有哪些优势？

• 提出了无需中断互动、不依赖主观问卷的动态评估方法。
• 扩展了应用场景：可用于多人组会、即时反馈优化等社交VR场景。
• 方法隐私友好，不读取对话内容。

实验或评估结果是什么？

• 在30秒时间窗口内，参与者的相对反应时间、注视和点头频率能显著预测其感知的社交连接感。
• 系统变量，如VR头像的动作自然性和音频的可靠性，与社交存在感紧密关联。

局限性与未来方向

• 局限性：
  1. 实验局限于陌生人之间的开放性对话，结果可能不适于其他情境（如熟人交流、团队协作）。
  2. 当前分析仅考察了注视与点头行为，未包括其他潜在非语言信号（如手势、面部表情）。
  3. 参与者样本主要为年轻且具有数字媒体熟悉度的个体，普适性有待验证。
• 未来方向：
  1. 探索更多元社交情境（如辩论、讲座、熟人互动）。
  2. 引入面部表情和手势分析，结合机器学习模型增强行为预测能力。
  3. 系统性验证不同VR设计（如头像外观、音频处理）对社交体验的影响。

作者提出了一种创新的VR社交体验量化方法，结合语言与非语言行为，为未来VR平台的行为设计和互动评估提供了科学依据，同时也为考察人类行为与社会心理的关系开辟了新方向。