西塞罗：多轮次，上下文论证以实现精确众包

确保高质量众包工作的传统方法未能在困难问题上实现高精度。聚合冗余答案通常在最难的问题上失败，因为多数人也会困惑。论证已被证明在缓解这些缺点方面是有效的。然而，现有的论证系统仅支持有限的交互，并向工人展示通用的证明，而不是针对其推理的特定上下文的论点。本文介绍了Cicero，这是一种新的工作流程，通过实时同步论证，让工人参与多轮上下文讨论，从而提高困难任务的众包精度。我们的实验表明，与仅在关系提取领域将平均个体工人精度提高6.8个百分点的先前论证系统相比，我们的工作流程实现了16.7个百分点的改进。此外，以前的论证方法不适用于有许多可能答案的任务；相比之下，Cicero在这种情况下表现良好，在Codenames领域将精度从66.7%提高到98.8%。