DALL：基于数据编程和大型语言模型增强的主动学习进行数据标注

文献标题

DALL: Data Labeling via Data Programming and Active Learning Enhanced by Large Language Models

出版信息

• 主题领域: 结合数据编程、主动学习和大型语言模型的文本标注框架。
• 关键词: 数据标注, 数据编程, 主动学习, 大型语言模型, 文本分类, 标注函数, 范围集, 迭代优化, 可用性, 标注效率。

背景与问题

• 问题/挑战: 现有的文本标注方法在标注质量和成本之间难以平衡。数据编程需要编程技能，主动学习存在冷启动问题，而基于大型语言模型（LLM）的标注在没有人工监督的情况下可能不一致且不可靠。
• 重要性: 高质量的标注数据集对自然语言处理（NLP）任务中的深度学习至关重要，减少标注的成本和工作量可以加速该领域的进步。
• 动机与相关工作: 之前的研究探索了数据编程、主动学习和LLM的两两结合，但尚未完全整合三者。挑战包括数据编程中的编程负担、主动学习中的效率问题，以及LLM标注中对人工监督的需求。

解决方案

• 提出的方法: DALL，一个统一的文本标注框架，整合了数据编程、主动学习和LLM，以提高标注效率和准确性。
• 创新点:
  1. 提出通过配置而非编码来定义标注函数的结构化规范。
  2. 将数据编程与主动学习结合，以优化噪声标注并解决冷启动问题。
  3. 利用LLM协助标签校正、范围集扩展和标注函数优化。
  4. 实现了一个具有用户友好界面的交互式标注系统，用于迭代优化。
• 流程与关键技术:
  1. 用户通过无代码的结构化规范定义标注函数。
  2. 主动学习基于不确定性、分歧或弃权选择信息量大的实例。
  3. LLM分析选定实例，推荐标签、扩展范围集并建议新的标注函数。
  4. 通过用户与系统的交互进行迭代优化以提高标签质量。

结果

• 具体发现:
  • DALL在标注时间显著减少的情况下，达到了与Doccano、Snorkel和GPT-3.5 Turbo相当或更高的准确性。
  • 跨任务重用标注函数实现了快速收敛到高准确性。
  • 消融研究表明，结合数据编程、主动学习和LLM提高了准确性并降低了时间成本。
• 相较基线的优势:
  • 比其他方法更快达到85%的准确性。
  • 通过主动学习和LLM辅助的迭代优化实现了持续的准确性提升。
• 实验/评估:
  • 在情感分析任务上对36名参与者进行了对比研究。
  • 对18名参与者进行了消融研究，以评估各模块的贡献。
  • 对15名参与者的可用性研究显示了较高的满意度和易用性。
• 局限性与未来工作:
  • 难以处理跨句推理或隐含表达。
  • 需要领域特定的范围集和提示优化。
  • 有潜力构建可重用范围集的库并自动化提示调整。

总结

DALL是一个整合了数据编程、主动学习和LLM的文本标注框架，旨在提高标注效率和准确性。它引入了一种无需编码的结构化规范来定义标注函数，并结合主动学习以优先处理信息量大的实例，同时利用LLM分析辅助标签优化。评估结果表明，DALL在准确性和效率上均优于现有系统，并且参与者对其可用性评价较高。未来工作包括解决复杂表达的处理限制、扩展领域特定资源以及优化新任务的提示设计。