团队认知采集：用于自适应协作界面的多模态数据集

文献标题

Capturing Team Cognition: A Multimodal Dataset for Adaptive Collaborative Interfaces

出版信息

• 主题领域: 多模态感知与脑机接口在分布式团队协作中的应用。
• 关键词: 团队认知, EEG超扫描, 脑机接口, 分布式协作, 多模态数据集, 神经同步, 创造性问题解决, 自适应系统, 团队过程, 实时监测。

背景与问题

• 问题/挑战: 现有协作工具无法有效洞察影响团队表现的认知与情感状态，尤其是在地理分散的环境中。传统评估方法依赖主观自我报告或人工注释，这些方法存在偏差、干扰性强且难以大规模应用。很少有数据集捕捉分布式团队的神经和行为信号。
• 意义: 团队动态的实时监测可以预测协作失败，提升协调性，并改善创造性成果，从而解决人因工程与组织心理学中的关键问题。
• 动机与相关研究: 生理计算与脑机接口的进展主要集中在受控环境中的个体用户，尚未充分理解分布式环境中的多人神经动态。超扫描研究主要关注同地双人组，对更大规模或地理分散团队的探索有限。

解决方案

• 提出的方法: 创建一个多模态数据集，捕捉分布式团队在跨洲协作中的同步EEG、音频转录、屏幕交互和行为注释数据。
• 创新点:
  1. 展示在分布式团队中捕捉同步EEG和行为数据的可行性。
  2. 引入一个公开可用的多模态数据集，用于研究自然环境中的团队认知。
  3. 建立将神经信号与团队过程和表现关联的方法。
  4. 为响应团队认知与行为状态的自适应界面提供基础。
• 流程与关键技术:
  • 3至4人团队通过远程协作，使用EEG头戴设备、Zoom和共享数字工具（如Miro白板、ChatGPT）。
  • 数据采集包括EEG信号、视频/音频记录和行为注释。
  • 提取并分析神经指标（如任务参与指数、任务负荷指数、互信息、复发率）及行为指标（团队过程、任务表现）。

结果

• 具体发现:
  • 团队表现得分范围为49.5至93.5（平均值M = 74.8，标准差SD = 14.1）。
  • 神经测量与任务表现呈现适度相关（如DE NL3同步性r = .59，互信息r = .23）。
  • 互信息与行动过程强相关（r = .71），复发率与人际过程负相关（r = −.72）。
• 相较基线的优势:
  • 数据集支持地理分布环境下团队认知建模，弥补了以往局限于同地双人组的超扫描研究的不足。
  • 为实时监测和自适应系统开发提供了坚实的基础设施。
• 实验/评估:
  • 团队设计虚拟密室逃脱游戏，整合叙事、谜题多样性和用户体验考量。
  • EEG指标与行为数据通过相关性和回归技术进行分析。
• 局限与未来工作:
  • EEG特定伪影和混杂因素（如体积传导、共享刺激效应）的易感性。
  • 需要额外的控制措施（如替代数据、空间滤波）以及对非语言交互的探索。
  • 未来方向包括整合视觉分析平台，扩展多模态数据集以支持更广泛的应用。

总结

本文介绍了一个多模态数据集，捕捉分布式团队在创造性协作中的EEG和行为数据，支持团队认知的实时监测。数据集包含同步的神经与行为信号，为认知状态和团队动态提供了洞察。分析显示神经测量与团队表现之间存在适度相关性，验证了响应团队信号的自适应系统的可行性。通过弥补以往超扫描研究的不足并提供公开资源，该研究为开发增强分布式团队协作的脑机接口奠定了基础。