CollabCoder：一种使用大型语言模型进行归纳性协作定性分析的低门槛严格工作流程

文献标题

CollabCoder: A Lower-barrier, Rigorous Workflow for Inductive Collaborative Qualitative Analysis with Large Language Models

文献信息

• 主题领域: 定性数据分析与协作研究平台设计
• 关键词: Collaborative Qualitative Analysis, Large Language Models, Grounded Theory, Inductive Qualitative Coding, Human-AI Interaction, Codebook Development, Workflow Design, Consensus Coding

研究背景与问题

• 发现的问题或挑战:

  • 定性协作分析 (CQA) 过程复杂，既耗时又耗力，难以严格遵循理论化的标准流程。
  • 当前的CQA工具无法有效支持关键阶段，尤其是独立编码和团队协作阶段，可能会引入分析偏差。
  • 大型语言模型 (LLMs) 的潜力尚未在CQA领域中充分发挥，现有平台更偏向基础功能，而缺乏理论驱动的全面工作流支持。

• 重要性:

  • 通过多视角协作，CQA能够实现定性分析的深入解释与严谨性，但其复杂性导致初学者和多样化团队对该流程的坚持具有障碍。
  • 整合LLMs可能能提高CQA的效率，同时增强过程的透明性与质量。

• 研究动机与相关工作:

  • 当前研究主要关注AI在定性分析中的辅助功能，但缺乏对构建端到端工作流的系统探索。
  • 研究旨在降低参与者严格遵循标准CQA流程的门槛，并为LLMs与定性分析的结合提供新的设计思路。

解决方案

• 提出的方法或解决方案:

  • 开发CollabCoder，一个基于网络的CQA工作流平台，该平台整合三大关键阶段：
    1. 独立开放编码阶段: 提供LLM生成的代码建议，同时记录决策数据。
    2. 迭代讨论阶段: 利用量化指标，如代码相似度，帮助团队识别和解决编码分歧，建立共识。
    3. 代码簿生成阶段: 自动生成初始代码组，减轻代码簿开发的负担。

• 创新之处:

  • 在一个系统中无缝衔接所有CQA的主要阶段，确保阶段输出可以直接作为下一阶段的输入。
  • 将LLMs引入多阶段工作流，不仅作为编码建议的提供者，还作为协商阶段的中立“调解人”和代码组生成的“推动者”。

• 实施步骤与关键技术:

  • 技术实现:
    • 使用React-MUI库构建前端以支持独立和共享工作区。
    • 使用GPT-3.5提供编码建议和代码组生成。
    • 量化评估使用相似度计算与Cohen’s Kappa指标进行协作一致性评估。
  • 主要工作流:
    • 数据预处理与分割；独立编码；讨论合并代码；代码组初步生成与手动优化。

研究成果

• 具体成果:

  • CollabCoder显著优化了CQA流程，提高了用户的编码效率，解决分歧能力，以及代码组生成质量。
  • 比起传统工具 (如Atlas.ti Web)，CollabCoder更易于使用，特别适合初学者和缺乏定性分析经验的用户。

• 优势:

  • 工作流透明，支持严格遵循理论框架的实践。
  • 灵活整合个人与协作编码任务，减少团队管理的复杂性。
  • GPT的辅助减少了编码过程中的认知负担，同时提高了讨论与代码生成的效率。

• 实验或评估结果:

  • 在用户评价中，75%以上参与者认为CollabCoder易于使用，并有助于识别和解决分歧。
  • 讨论时间显著延长，讨论质量增强；较低的初始代码一致性通过讨论大幅改善。
  • 功能反馈反映出部分用户对某些功能（如编码置信度标注）使用率较低，但自动生成的代码组受到普遍认可。

• 局限性与未来方向:

  • 现有模型假定代码单元具有独立语义，尚未考虑多代码分配或数据单元复杂性的挑战。
  • 未探索更高级的LLM整合场景，如依据研究问题定制建议或动态分割复杂数据。
  • 在管理编码建议的适当依赖性方面还需进一步研究，例如减少对模型生成内容的过度信任。

总结

CollabCoder是一个理论驱动的、集成LLM辅助的端到端CQA平台，旨在降低定性协作分析的进入门槛，同时保持分析严谨性和质量。未来研究可继续探索如何增强工具的灵活性与适应性，以支持更复杂的定性分析场景。