SocialEyes：将移动眼动追踪扩展到多人员社交环境

研究背景与问题

• 发现的问题或挑战:

  • 传统的眼动追踪研究大多局限于单人实验室环境，缺乏在真实世界中多人的社交环境下的使用。即使移动眼动追踪技术的发展提高了自然环境下的数据收集能力，但多个观察者之间数据的同步和分析仍然是困难的。
  • 多人场景中，眼动数据需从佩戴者的主观坐标系对齐到共享的空间坐标系，以便分析集体注视动态。
  • 现有技术依赖手动分析或粗略的区域映射，难以扩展至大规模数据且效率低下。

• 重要性:

  • 眼动数据能够揭示人类注意力分配、社交行为和非语言交流的动态，推动对音乐、课堂教学等共享视线场景中的认知和协作的研究。
  • 在自然社交场景中进行同步多人眼动追踪的能力可以为认知神经科学、人机交互和团队合作等领域提供新的洞察。

• 研究动机与相关工作:

  • 过去的研究多集中在小规模群体（例如二人），并使用静态场景替代真实复杂的动态环境，导致生态有效性不足。
  • 新技术如移动眼动追踪设备的落地提高了自然环境下数据收集的准确性，但目前尚无专门用于动态、多人实际场景的同步分析工具。

解决方案

• 方法或解决方案: 作者提出了一个新的软件框架——SocialEyes，旨在实现多设备数据同步、非侵入性数据监控、语义注视映射和共享视线分析。

  • 实现同时记录和分析多个移动眼动追踪设备的数据。
  • 提出一种基于同基面投影的注视映射方法，将佩戴者视角的注视投影到共享场景视角。
  • 开发了多种可视化和分析工具，以解析和呈现多人的社会注视动态。

• 创新点:

  1. 跨视角映射: 使用基于同基面的投影方法将个体注视从主观视角精确对齐到共享视角。
  2. 时间同步: 通过网络时间协议（NTP）和鲁棒的线性偏差校正，确保多个设备之间的微秒级时间对准。
  3. 实时和离线数据模式: 实现了灵活的操作模式，可满足对离线复杂分析或实时交互的不同需求。
  4. 群体视线分析指标: 引入例如归一化轮廓面积和视线热图相似性等新指标，以量化集体注视分布和社交行为的相似性。

• 实施步骤和关键技术:

  • 数据流模块化: 框架处理来自眼动设备的注视坐标、视角视频和中央场景视频流。
  • 同基面投影: 使用特征点匹配（如SuperGlue神经网络）和项目变换数学方法完成跨视角的投影。
  • 实时监控与存储: 模块实现对硬件状态、传输故障和设备的实时监控。
  • 分析与可视化: 利用热图、时间序列图等多模式展示集体注视行为。

研究成果

• 具体成果:

  1. 成功开发并验证了多设备眼动追踪框架SocialEyes。
  2. 通过实验记录来自30位同时观众的实时注视行为，并在两个公共事件（音乐会和电影放映）中应用，有效放大了研究场景规模。
  3. 实验证明了多个人眼注视点在动态场景中的映射准确性和时间同步性。

• 与现有解决方案的比较及优势:

  • 显著降低了研究人员手动分析和同步操作的负担，提升了数据处理的自动化程度。
  • 提出了新颖的多视角注视对齐方法，支持动态复杂场景中的实时性能。
  • 支持研究多人的注视行为协作动态，这在传统实验室研究中难以实现。

• 实验和评估结果:

  • 时间同步性能: 跨30个设备的时间偏差在毫秒级（平均19.58~45.57ms），并成功校正偏移和漂移。
  • 投影准确性: 在使用同基面投影方式校准注视位置后，在动态场景中准确转译了个体注视分布到共享视角。
  • 群体视线行为分析: 分析显示视线热图和归一化轮廓面积的动态变化能够捕捉参与者对场景变化的反应，并揭示社会互动中的注意力分布特征。

• 局限性与未来方向:

  1. 投影方法局限性: 当前的同基面投影假设可能在近距离或非平面场景失效，未来可探索基于三维重建或多视角校准的解决方案。
  2. 硬件依赖性: 框架性能与设备硬件能力紧密相关，建议采用更多开源解决方案以提高适应性和可扩展性。
  3. 实时模式优化: 未来工作需在多人、动态场景中优化流媒体数据解码和运行时间效率。
  4. 跨环境扩展: 扩展到更多的社交场景（如多人协作工作环境）并支持多种传感器集成（如生理传感器）以提升多模态分析能力。

总结

SocialEyes框架通过技术创新实现了生态化、多人的眼动追踪研究，为理解集体注意力动态带来了突破性进展，并为人机交互、教育、文化研究等领域提供了实际应用价值。同时，作者公开了代码以促进学术界广泛的复现和扩展。