没有人群的群体智慧：用于视角主义数据异步审议的苏格拉底式LLM

数据标注是现代AI成功的基础，但人群收集数据集的聚合可能会损害多样化视角的保存。困难且模糊的任务不容易被简化为单一标签。先前的研究表明，审议和讨论可以提高数据质量并保留多样化视角——然而，通过众包平台进行的同步审议既耗时又昂贵。在这项工作中，我们创建了一个使用大语言模型（LLM）的苏格拉底对话系统，作为代替其他众包工人的审议伙伴。针对两项任务（讽刺和关系检测）的同步审议基准，我们的苏格拉底式LLM鼓励参与者考虑替代标注视角，根据需要更新标签（并提高置信度），并导致更高的标注准确率（在有 ground truth 的关系任务中）。定性发现表明，我们的智能体的苏格拉底方法有效地鼓励了参与者的合理论点，并且干预措施受到了好评。我们的方法为构建可扩展系统奠定了基础，这些系统可以在生成更具代表性的数据集时保留个人视角。