在黑暗中引导：评估在缺乏金标准标签情况下人类在数据标注引导工程中的表现

研究背景与问题

• 作者发现了哪些问题或挑战？
  用户在没有金标数据的情况下对大型语言模型（LLM）进行提示设计，以便为数据标注任务迭代优化提示的表现如何。之前的研究表明，金标数据对于评估数据标注质量和系统性能至关重要，但在许多现实场景中金标数据可能不存在、昂贵或者难以使用。

• 为什么这个问题很重要？
  随着LLM被广泛应用于各类任务，理解用户如何在缺乏金标数据的情况下有效地使用这些模型对于确保其可靠性和适用性至关重要。特别是在支持动态数据标注场景中，提升用户的提示设计能力可有效改进标注质量。

• 研究动机与相关工作
  作者通过分析相关文献，发现金标数据对于高效标注至关重要，但许多当前方法假设金标存在。现有工具主要依赖金标数据来优化提示，而针对缺乏金标的场景研究较少。本文旨在深入研究“提示黑暗中（prompting in the dark）”场景，评估人在缺乏金标数据情况下提示迭代的能力。

解决方案

• 作者提出了哪些方法或解决方案？
  作者开发了一个名为“PromptingSheet”的工具，这是一个基于Google Sheets的插件，用户可以在其中迭代式设计提示来完成数据标注任务。工具中的核心功能包括任务背景设置、规则定义、多次样例标注等。

• 该解决方案的创新之处是什么？

  1. 提供了一个用户友好的界面，基于电子表格设计，适合一般用户而非技术专家。
  2. 强调“提示设计过程中的进化理解”，即用户的标注规则和任务目标可随着LLM预测标注结果的观察逐步调整。
  3. 允许用户从零开始设计提示，而不需要预先标注的数据。

• 实施步骤是什么？使用了哪些关键技术？

  1. 用户加载数据到工具中，并编写任务背景信息（如数据源、标注目标）。
  2. 用户利用平台的“规则书”和“示例库”定义各类标签的规则和标注示例。
  3. 工具支持LLM标注数据，并生成标注解释，供用户迭代修正规则或标注样例以改进精确度。
  4. 用户可通过多轮操作优化提示，直到获得满意的标注结果。工具还提供记录任务进度的仪表板，对提示内容进行跟踪。

研究成果

• 取得了哪些具体成果？
  通过对20位参与者进行用户测试，发现“提示黑暗中”的方法表现十分不可靠，仅有9位参与者在四轮或以上的迭代后提升了标注准确度。用户大多面临规则不够清晰的问题，提示调整的有效性一般。

• 与现有解决方案相比，它有哪些优势？
  提供了适用于普通用户的工具，简化了提示优化过程中的复杂操作。但在缺乏金标数据的情况下，其性能表现未满足预期，与传统依赖金标的优化平台相比在可靠性上有所欠缺。

• 实验或评估结果是什么？

  1. 标注准确度的平均值从初始的0.542略微提升到四轮后的0.553，但效果不显著且表现波动。
  2. 大多数参与者对于工具的易用性和任务完成效率表示认可，但对提示改进效果存在质疑。
  3. 自动化提示优化工具（如DSPy）在提供有效改善时也难度较大，因为生成的少量金标样例不足以支持算法优化。

• 局限性与未来方向
  局限：

  • 提示黑暗中的场景高度依赖用户的个人理解，缺乏指导可能导致用户迭代效率低下。
  • 自动化工具在少量样例或复杂任务下表现有限。
  • 实验仅在单一次用户研究中进行，缺乏长期行为数据支持。

  未来方向：

  • 增加起始时的金标数据以提供基础指导，同时设法减少金标影响用户探索的自由度。
  • 引入更多自动化支持功能，如自动生成规则的方法。
  • 研究更强大的提示优化算法以适应少量样例的场景。
  • 部署工具到真实用户场景中观察长期影响和使用行为。