设计用于探索定性数据中因果关系的计算工具

文献标题

Designing Computational Tools for Exploring Causal Relationships in Qualitative Data

出版信息

• 主题领域: 定性数据分析的计算工具，重点研究因果关系。
• 关键词: 定性数据分析，因果关系，计算工具，因果网络，可视化，假设生成，人机交互，社会科学，大型语言模型，交互式系统。

背景与问题

• 问题/挑战: 现有的定性数据分析计算工具主要集中于分类和描述，缺乏对因果关系探索的有力支持。目前的系统要么过于简化上下文，要么缺乏可信度，或者生成的输出过于复杂。
• 意义: 理解定性数据中的因果关系对于理论构建、行为预测以及解开复杂的社会现象至关重要。然而，手动分析耗时费力，现有工具未能充分满足这一需求。
• 动机与相关工作: 先前的研究探索了基于自然语言处理的主题建模、聚类和因果推断等计算方法。然而，这些方法通常缺乏对源数据的可追溯性，生成的网络过于复杂，或未能在自动化与用户控制之间取得平衡。定量数据因果关系的可视化技术提供了灵感，但尚未针对定性情境进行调整。

解决方案

• 提出的方法: QualCausal，一个通过交互式工作流和多视图可视化从定性数据中构建和探索因果网络的系统。
• 创新点:
  1. 提出一个结合因果网络可视化与用户控制工作流的系统，用于分类和连接定性数据。
  2. 在自动化与用户自主性之间取得平衡，实现对源数据的可追溯性。
  3. 提供多层次的可视化，支持从宏观模式到细节分析的探索。
  4. 通过探索性因果发现促进假设生成和理论构建。
• 流程与关键技术:
  1. 指标提取: 基于用户提供的研究概述，自动从定性数据中识别指标。
  2. 概念创建: 允许用户将指标映射到概念，并提供手动优化和自动映射的选项。
  3. 因果关系提取: 使用大型语言模型（LLMs）识别并分类指标之间的因果关系，形成因果网络中的有向边。
  4. 可视化: 提供协调视图（指标视图、概念视图、节点视图和细节面板），以不同抽象层次探索因果网络。

结果

• 具体发现:
  • 在MHStigmaInterview-20数据集上，指标提取的精确率达到86.46%，召回率为94.32%。
  • 概念映射的精确率为66.39%，召回率为76.96%，准确率为70.83%。
  • 因果关系提取优于基线方法，在MHStigmaInterview-20数据集上实现了80.60%的精确率、83.08%的召回率和98.18%的方向性准确率；在SemEval 2010 Task 8数据集上实现了100.00%的精确率/方向性准确率和85.00%的召回率。
• 相较基线的优势: 通过语义和上下文理解，优于共现网络和因果线索启发式方法，在精确率、召回率和方向性准确率上表现更佳。
• 实验/评估:
  • 与15名参与者进行了一项形成性研究，以识别挑战和设计目标。
  • 在两个数据集（MHStigmaInterview-20和SemEval 2010 Task 8）上进行了定量评估。
  • 通过一项包含15名参与者的反馈研究评估了系统的可用性、假设生成能力和用户感知。
• 局限性与未来工作:
  • 仅限于句内因果关系，未能捕捉篇章级模式。
  • 短期评估可能无法反映长期工作流整合效果。
  • 在处理大规模数据集时可能存在可扩展性问题。
  • 未来工作包括纵向研究、篇章级因果发现，以及解决解释性研究中的范式冲突。

总结

本文介绍了QualCausal，一个通过交互式因果网络构建和可视化探索定性数据中因果关系的计算工具。该系统利用大型语言模型进行指标提取、概念映射和因果关系检测，并提供多层次可视化以支持假设生成和理论构建。定量评估证明了其有效性，用户反馈强调了其在减少分析负担的同时保持解释自主性方面的实用性。然而，在篇章级关系处理、可扩展性以及与多样化研究范式的对齐方面仍面临挑战。本研究为设计能够深度整合到定性数据分析实践中的计算工具提供了重要贡献。