通过通信分类有向图估计共享心智模型

文献标题

Estimating Shared Mental Models via Communication-Categorized Directed Graphs

出版信息

• 主题领域: 基于团队通信数据的共享心理模型（SMM）连续估计。
• 关键词: 共享心理模型, 即时通讯系统, 图神经网络, 通信类别, 团队认知, 大语言模型, 组织绩效, 连续监测, 隐私保护标注, 机器学习。

背景与问题

• 问题/挑战: 传统的共享心理模型（SMM）测量方法（如访谈和问卷）劳动密集、情境特定，不适合连续监测。这导致缺乏可用于实时跟踪团队认知的实用工具。
• 重要性: SMM 对团队绩效至关重要，能够通过最少的沟通实现协调和适应性。对 SMM 的连续监测可以帮助组织优化团队动态并改善各领域的成果。
• 动机与相关工作: 先前研究表明，即时通讯系统（IMS）捕获了重要的协作信号，但现有研究尚未明确哪些通信类型与 SMM 相关，也未探讨如何自动估计 SMM。本文通过利用 IMS 数据和计算方法解决了这些空白。

解决方案

• 提出的方法: 提出一种通过通信类别化的有向图和图神经网络（GNN）从 IMS 通信中估计 SMM 的新方法。
• 创新点:
  1. 使用大语言模型（LLMs）进行隐私保护的标注流程，将 IMS 消息分类为不同的交际行为。
  2. 实证识别与 SMM 相关的通信类别（Inform、Elicit-inform、Be-positive）。
  3. 基于 GNN 的模型整合了通信类别和有向通信动态，性能优于基线方法。
• 流程与关键技术:
  • 使用 LLMs 将消息分类为交际行为。
  • 构建按类别划分的有向通信图，节点表示团队成员，边的权重表示通信动态。
  • 扩展的 GNN 处理这些图，结合通信类别和动态以估计 SMM。

结果

• 具体发现:
  • 提出的方法实现了 13.50 的 RMSE，优于基线方法（基线 1: 47.44，基线 2: 21.08，基线 3: 16.58，基线 4: 21.00）。
  • 通信类别（Inform、Elicit-inform、Be-positive）对 SMM 估计有显著贡献，而通信动态与类别结合时性能进一步提升。
  • RMSE 相当于平均真实 SMM 值的 13%，表明尽管存在改进空间，但轻量级监测的可行性已得到验证。
• 相较基线的优势:
  • 引入通信类别的模型性能优于仅使用对话内容或未区分通信的模型。
  • 结合通信类别和动态的模型表现最佳，突出了整体方法的重要性。
• 实验/评估:
  • 数据集: 来自某研发部门 16 个团队的 Slack 通信日志和 5-PSMMS 问卷数据。
  • 评估指标: SMM 估计的均方根误差（RMSE）。
  • 比较的基线: 仅使用内容、未区分通信或单独动态的模型。
• 局限性与未来工作:
  • 数据集仅限于单一企业情境，需要更广泛的验证。
  • 标注质量依赖于 LLMs，因隐私限制未进行人工验证。
  • 未显式建模通信和团队动态的时间演变。
  • 方法在非企业领域的适用性尚未测试。

总结

本研究提出了一种通过即时通讯系统（IMS）通信估计共享心理模型（SMM）的新方法，利用通信类别化的有向图和图神经网络（GNN）。该方法采用大语言模型（LLMs）进行隐私保护的消息分类，并结合通信类别和动态以实现精确的 SMM 估计。实验结果表明，该方法在性能上优于基线方法，具有在企业、教育、医疗和灾害响应等领域应用的潜力。尽管前景广阔，该方法仍需在多样化情境中进一步验证，并改进对时间和动态因素的处理能力。