通过人机协作数据标注实现Text-to-SQL领域适配

DOI

Text-to-SQL模型将自然语言（NL）问题解析为可执行SQL查询，越来越广泛地应用于现实世界应用。然而，在现实世界中部署此类模型通常需要适配特定应用中使用的高度专业化数据库模式。我们观察到，将现有Text-to-SQL模型应用于新模式时性能急剧下降，主要原因是缺乏用于微调的具体领域数据。此外，新模式缺乏数据也阻碍了我们有效评估模型在新领域的表现。然而，在大多数现实世界应用中，为不断演变的模式持续获取Text-to-SQL数据成本很高。为弥补这一差距，我们提出了SQLsynth，一个人在环的Text-to-SQL数据标注系统。SQLsynth通过人类和大型语言模型之间的结构化工作流程协作，简化了高质量Text-to-SQL数据集的创建。一项将SQLsynth与手动标注和ChatGPT进行比较的受试者内用户研究表明，SQLsynth显著加速了Text-to-SQL数据标注，减轻了认知负担，并生成了更准确、更自然、更多样化的数据集。我们的代码可在 https://github.com/adobe/nl_sql_analyzer 获取。