Cody：基于AI的系统，用于定性研究的半自动化编码

文献标题

Cody: An AI-Based System to Semi-Automate Coding for Qualitative Research

文献信息

• 主题领域: 人机交互 (HCI)、定性数据分析 (QDA)、人工智能 (AI) 辅助工具设计
• 关键词: 定性研究, 定性编码, 基于规则的编码, 监督式机器学习, 用户中心设计, 工件设计

研究背景与问题

• 问题或挑战:

  • 定性研究中的编码过程十分耗时且重复性高，尤其是大型数据集。
  • 现有的定性数据分析系统 (QDAS) 中机器学习功能有限，且缺乏交互性和透明度，阻碍了自动编码技术的广泛应用。
  • 缺少针对定性研究者与人工智能辅助工具的互动研究，用户缺乏信任并难以有效利用这些工具。

• 重要性:

  • 定性研究广泛用于回答“是什么”“如何”和“为什么”类型的问题，其编码质量决定后续理论开发的可靠性和适用性。
  • 随着数据集规模的扩大，有效的定性编码工具对于保证一致性和减少工作量至关重要。

• 研究动机与相关工作:

  • 文献表明用户中心设计的交互式编码工具更易被研究者接受。
  • AI技术在定性编码中潜力巨大，但目前仍面临技术可用性和用户信任等问题。
  • 学术界呼吁开发支持交互、透明且用户友好的AI辅助工具，以整合规则定义与机器学习模型训练。

解决方案

• 方法或解决方案:

  • 提出和设计了一个名为 Cody 的交互式AI系统，通过规则定义和监督机器学习来半自动化定性编码。
  • Cody允许用户交互式定义、修改编码规则，并将人工编码延展至未见数据。

• 创新之处:

  • 集成了基于规则的编码与机器学习模型训练，将规则定义直接纳入编码工作流。
  • 提供代码建议以及解释，并设计精简、透明的操作界面，避免用户对系统复杂性的顾虑。

• 实施步骤与技术:

  • 定义六项系统设计需求，根据这些需求开发Cody，包括支持单位分析选择、规则定义与修改、模型透明训练、及建议解释等功能。
  • 规则生成器基于语义相似度和Levenshtein距离生成初始编码规则。
  • 使用监督学习的逻辑回归模型训练，以实时更新基于人工标注的数据分类。
  • 提供基于“冷启动问题”设计的学习方法，包括人工消极示例的生成。

研究成果

• 具体成果:

  • Cody能够帮助用户定义编码规则，促进用户反思编码方式，提升编码一致性。
  • 自动化建议有助于用户检测未被覆盖的文本段落，支持编码规则的迭代。
  • 增加定性编码的透明性与结构化特点，使第三方更容易理解编码过程。

• 与现有解决方案相比的优势:

  • 与传统QDAS工具（如MAXQDA）相比，Cody提高了编码的一致性和质量（Krippendorff’s Alpha从0.085增至0.33）。
  • 提供了多层次的支持，包括见数据的规则建议及未见数据的机器学习预测。

• 实验或评估结果:

  • 参与者发现Cody对重复性任务数据编码较为有利，能够促进编码规则的学习及文件整体概览。
  • 评估发现用户对规则定义和迭代过程感兴趣，而对机器学习建议的兴趣较低，但ML建议在增强编码规则方面表现出潜力。

• 局限性与未来方向:

  • 数据集规模较小限制了对工具效用的全面评价，建议在真实研究场景下进行长期实地评估。
  • 机器学习模型质量仍受编码样本数量限制，可进一步优化模型训练策略。
  • 未考虑多用户协作编码与不同编码风格对工具使用的影响，有待研究工具在协作场景中的表现与影响。
  • 未来可通过结合眼动追踪等技术来探索未被标注的编码片段，并评估如何更好地鼓励用户探索编码规则与自动化建议的功能。