可解决与不可解决的异议：众包工作中工人讨论的研究

众包数据分类通常假设对象可以明确分类到类别中。实际上，许多分类任务由于各种形式的异议而存在歧义。先前的研究表明，交换口头理由可以显著提高聚合技术的答案准确性。本工作通过客观和主观任务的案例研究来研究工人讨论如何影响可解决性和准确性。结果表明，案例可解决性取决于多种因素，包括初始异议的程度和原因，以及讨论活动的数量和质量。我们的工作强化了讨论可以提高答案准确性的发现，以及口头讨论在此过程中的重要性。我们贡献了一个关于文本分类任务工人讨论的新公开数据集，并讨论了分类工作流程的设计注意事项。