"我希望这有帮助"：理解众包工作者对图像描述任务的挑战和动机

AI图像描述挑战鼓励广泛参与设计为各种图像和用户自动创建有意义的描述的算法。为了创建这些挑战所需的大型数据集，研究人员通常采用共享的众包任务设计来进行图像描述。本文讨论了我们对Amazon Mechanical Turk workers留下的1064条评论进行主题分析的结果，工人们使用此任务设计为盲人拍摄的照片创建描述。工人们讨论了理解如何完成任务的困难，提供了改进任务的建议，提供了关于工作的解释或澄清，并描述了他们为什么觉得这个特定任务有益或有趣。我们的分析为这一特定类型的任务以及如何利用众包为开发基于AI的系统生成大型数据集的更广泛考虑提供了见解。