是时候了：疫情前后众包数据的视角

文献标题

It’s About Time: A View of Crowdsourced Data Before and During the Pandemic

文献信息

• 主题领域: 人机交互、计算机视觉、数据偏差与可重复性
• 关键词: 众包、数据可重复性、图像标注、汇报偏差、时间敏感性

研究背景与问题

• 作者发现了哪些问题或挑战？

  • 众包数据广泛应用于训练计算机视觉算法，但这些数据可能存在汇报偏差，人类标注者的标签数据不仅仅反映图像内容，还包含社会信息和个人认知。
  • 2020年的重大事件（如新冠疫情和围绕种族歧视的社会动荡）可能影响标注者标签的内容，从而导致标签数据的时间敏感性。

• 为什么这个问题很重要？

  • 社会性偏差可能通过众包数据被放大，并嵌入计算机视觉算法，产生潜在的社会负面影响（如种族和性别刻板印象的加剧）。
  • 探索数据随时间变化的敏感性，有助于理解社会背景对数据的影响，并改善数据质量。

• 研究动机与相关工作

  • 作者试图通过比较同一任务在2018年和2020年收集的数据，揭示时间敏感性对图像标注任务的影响，并验证是否存在数据的时间性变化。
  • 与传统研究关注数据偏差不同，本研究探讨重大社会事件对数据结果的动态影响。

解决方案

• 作者提出了哪些方法或解决方案？

  • 设计并重复执行一个开放式图像标注任务，使用标准化的人物图像（来自芝加哥人脸数据库），分别在2018年和2020年收集数据。
  • 分析标注者使用的标签主题（健康状况和种族身份）以及标注风格（具体 vs. 抽象），以探索时间变化对数据的影响。

• 该解决方案的创新之处是什么？

  • 首次从时间敏感性的角度系统分析众包数据，结合重大社会事件，揭示标签数据随时间的显著变化。
  • 提出具体量化方法，通过标签的独特出现次数评估数据变化，支持关于偏差扩散的社会科学理论。

• 实施步骤是什么？使用了哪些关键技术？

  1. 在Appen平台上再现开放式图像标注任务。
  2. 数据预处理：拼写检查、语言翻译（将西班牙语标签翻译为英语）。
  3. 数据分类与主题聚类：将标签分为健康（如体重、症状）及身份（如种族、民族）主题，进一步区分具体和抽象标签。
  4. 统计分析：采用卡方检验和两比例z检验评估标签的使用频率及分布变化。

研究成果

• 取得了哪些具体成果？

  • 健康标签的使用在2020年显著增加，尤其是体重相关的标签（如“胖”、“瘦”）。
  • 关于身份标签，2020年的标注者更多地标明一个人的种族身份（如“黑人皮肤”、“白人”），而不是泛化的标签（如“深色”、“浅色”）。
  • 2020年标注者在描述少数族裔（如黑人和亚裔）时较2018年更倾向于使用抽象标签，表现出对种族问题的敏感性。

• 与现有解决方案相比，它有哪些优势？

  • 提供了关于重大社会事件如何显著影响数据结果的实证证据，补充了众包数据偏差领域的研究空白。
  • 数据分析不仅限于标签内容，还纳入了标签风格，提供更加全面的理解。

• 实验或评估结果是什么？

  • 通过统计检验，证明了2020年的重大事件（如疫情和“黑人生命重要”运动）与数据偏差之间的关联。
  • 标签频率和类型的显著变化表明社会事件会影响标注者的注意力和认知风格。

• 局限性与未来方向

  • 局限性：

    • 由于众包采样是匿名的，无法邀请相同标注者参与任务，难以进行严格的因果验证。
    • 研究仅关注单任务（图像标注），未扩展到其他众包任务领域。

  • 未来方向：

    • 探讨其他类型的开放式任务（如音频或视频描述），验证社会事件对众包数据的动态影响。
    • 研究如何方法地捕捉和缓解时间变化对数据质量的冲击，例如设计问卷以锁定标注者的情绪状态。