PaTAT：具有可解释交互规则合成的人工智能协作定性编码

文献标题

PaTAT: Human-AI Collaborative Qualitative Coding with Explainable Interactive Rule Synthesis

文献信息

• 主题领域: 人机协作、自然语言处理、定性编码
• 关键词: 定性分析，人机协作，数据标注，解释性AI，模式合成，规则生成，人工智能辅助工具，主题分析，用户界面，编程合成

研究背景与问题

1. 问题与挑战:

   • 主题分析中的定性编码是识别数据模式并分配标签的关键过程，但这是一项耗时且劳动密集的任务，在处理大规模数据时难以扩展。
   • 现有基于机器学习的辅助编码工具通常面临“黑箱”问题，缺乏透明性和解释性，这使得用户难以理解模型做出建议的依据并验证其合理性。
   • 传统编码工具和现有AI辅助工具对模糊、不确定，以及迭代性质的定性编码支持不足。

2. 研究重要性:

   • 定性编码不仅仅是为了标注数据，更是为了帮助研究人员发现数据中的关键模式和现象，以回答特定研究问题。
   • 支持用户对数据趋势的理解和新主题的发现极为重要。

3. 研究动机与相关工作:

   • 当前主流的AI辅助标注工具关注精度优化，忽视了解释性与用户学习。
   • 文献回顾显示基于规则的模式生成有助于人类对数据的理解，但现有工具（如Cody）规则表达的灵活性和解释性存在局限。

解决方案

1. 所提出的方案:

   • 提出了一种新的互动式程序合成方法，称为PaTAT，能够实时从用户的标注中学习模式规则，以交互方式帮助完成定性编码。
   • PaTAT结合基于符号的模式和神经网络生成的特性，能够捕获词汇、句法和语义信息，保证编码推荐的解释性与灵活性。

2. 创新之处:

   • 采用解释性强的模式生成规则，以透明的方式向用户展示模型的学习内容以及生成模式的原因。
   • 提出了一种混合交互工作流，赋予用户对编码过程的完全控制权，从而在挑战复杂数据集时形成有效的人机合作。

3. 实施步骤:

   • 用户可逐步为数据项分配标签，PaTAT实时学习用户行为，合成展示模式并预测潜在的标签。
   • 面向数据组织和编码推荐，提供灵活的分组和排序策略。
   • 用户可以通过界面直接调整模式、处理多义性并完善编码方案。

4. 关键技术:

   • 使用基于词性标记、词语词干、实体类型、模糊匹配等特性生成的规则语言。
   • 通过启发式信息增益方法和线性组合机制优化模式选择，平衡模型表现的复杂性与可解释性。
   • 提供交互式工具，包括数据分组（基于模式/语义相似性等）和数据排序（基于模型置信度等）。

研究成果

1. 具体成果:

   • 开发出一个功能完备的工具，支持用户通过解释性模式交互进行定性编码，提高了编码效率和用户对模型的信任。
   • 工具能够通过人-机协作学会捕获更符合用户需求的模式，从而有效提升编码质量。
   • 用户实验表明，模式的解释性促进了用户的数据发现与灵感生成。

2. 相比现有解决方案的优势:

   • 与“黑箱”模型（如基于BERT的模型）相比，PaTAT在用户控制和学习支持方面具有显著优势。
   • 可解释性模式不仅帮助用户更快理解模型，还在编码过程中帮助用户发现新的数据模式。

3. 实验或评估结果:

   • 在用户实验中，PaTAT在真实定性编码任务中被证明具有高效性和实用性，用户表示其帮助他们更快理解数据并生成新洞察。
   • 定性分析显示，用户能够通过工具验证和修复模型错误，从而更好地引导编码过程。
   • 在处理抽象和多义主题时，PaTAT表现出一定的局限性，但其规则语言的灵活性弥补了部分问题。

4. 局限性与未来方向:

   • 当前的模式语言缺乏对情感、常识知识等更复杂特性的支持；系统尚未扩展到多用户协作场景。
   • 复杂界面增加了学习的门槛，未来工作应在保持功能的同时优化其简易性。
   • 计划通过公开发布和长期部署研究，进一步验证工具的实际效用以及跨领域适用性。