用 DocWrangler 引导语义数据处理

DOI

非结构化文本长期以来难以大规模自动分析。大型语言模型（LLM）现在使"语义数据处理"成为可能，即使用LLM而不是传统代码来驱动map、reduce和filter等常见数据操作。然而，构建这些管道具有挑战性：用户需要了解数据才能构建有效的管道，同时需要管道来提取帮助他们理解数据的信息。他们还需要应对LLM的 quirks 和不一致性。我们介绍 DocWrangler，一个为语义数据处理设计的混合主动开发环境。DocWrangler 提供三个新功能来弥合用户、数据和管道之间的差距：（i）就地用户笔记，让用户检查、注释和跟踪跨文档和LLM输出的观察；（ii）LLM辅助提示精炼，帮助将用户笔记转化为改进的数据处理操作；（iii）LLM辅助操作分解，检测任务是否对LLM 太复杂并建议如何分解。我们的评估结合了10名参与者的用户研究和在 docetl.org/playground 的公开部署，超过1500次记录会话。结果显示，用户开发了使用语义数据管道的系统策略——例如将开放性提示转化为更容易验证的分类器，并有意识地使用模糊提示来探索数据或LLM的行为。