调查Mechanical Turk上众包任务的可访问性

文献标题

Investigating the Accessibility of Crowdwork Tasks on Mechanical Turk

文献信息

• 主题领域: 人机交互 (Human-Computer Interaction，HCI)，众包任务的辅助性研究
• 关键词: 众包, 人群工作, AMT, MTurk, 无障碍, 残疾

研究背景与问题

• 作者发现了哪些问题或挑战？
  Amazon Mechanical Turk (AMT)作为众包平台在提供灵活就业机会上有很大潜力，特别对残疾人群体。但是平台在任务完成时间、用户界面、指令清晰度和工资等方面存在多个辅助性障碍，尤其对于有认知、视觉、听力、阅读和运动障碍的用户，这些障碍可能会进一步限制其参与任务的能力。

• 为什么这个问题很重要？
  众包工作是许多残疾人维持收入的重要方式，而理解他们在众包工作中遇到的障碍，对于改进平台设计、提高任务完成率和改善工作体验至关重要。这一研究对公平性和包容性的提升意义重大。

• 研究动机与相关工作
  先前的研究（Calvo等，Zyskowski等）已经开始探讨众包工作的可及性问题，但主要集中在总体用户界面评估或较小样本，与特定残疾人群体的障碍关联缺乏深入探索。现有文学暗示更全面的分析可以填补这一空白。

解决方案

• 作者提出了哪些方法或解决方案？
  作者采用混合方法论，包括两轮基于AMT的问卷调查 (Survey 1和Survey 2)，以及补充性深度访谈。通过这些数据收集工具，作者探讨了不同类型障碍如何影响用户完成微任务，以及潜在的设计改进方向。

• 该解决方案的创新之处是什么？
  本研究首次以系统化方式调查了美国地区AMT平台上不同类型残疾用户的人口学特征，以及这些障碍对任务完成的具体限制。同时，通过访谈深入了解了用户的情绪体验、任务选择行为和对平台的改进建议。

• 实施步骤是什么？使用了哪些关键技术？

  • 步骤 1: 调查1000名参与者，收集人口统计学数据及残疾状况 (Survey 1)。
  • 步骤 2: 针对报告特定残疾的用户，进行第二轮调查，其内容专注于每种残疾类型 (Survey 2)。
  • 步骤 3: 对部分参与者进行深入访谈，提取语义信息和经验反馈。
    数据分析中使用了混合主题分析方法，结合归纳编码和演绎编码手段，提炼关键主题和用户体验。

研究成果

• 取得了哪些具体成果？

  1. 用户分布: 62.6%的AMT参与者报告至少有一种残疾。残疾参与者的年龄、性别、教育程度与普通用户相似，其中男性占多数 (55%)，高学历参与者占比高达83%。
  2. 常见障碍:
     • 分配的任务时间不足导致焦虑和抑郁。
     • 用户界面包括元素过小和信息过量，给视觉和认知障碍者带来挑战。
     • 内容复杂的任务 (如语音转录或AI训练) 使许多用户退回任务。
  3. 重要发现: 多数用户主要完成调查问卷任务，而避免时间较长、复杂或对个人敏感的任务。工具和社区支持对于任务优化至关重要。

• 与现有解决方案相比，它有哪些优势？
  与简单用户界面评估不同，此研究深入探讨了残疾用户的真实工作体验，提供系统性视角以解决特定障碍问题。此外，研究采集了大量参与者数据，补充了相关工作中样本量较小的问题。

• 实验或评估结果是什么？

  • 任务完成时间不足是所有残疾类型中的普遍问题，视觉障碍者的比例最高 (59%)。
  • 基于工具 (如MTurk Suite 和 HIT Finder) 的工作流优化对残疾用户极为重要。
  • 第三方社区在教育新参与者和共享经验方面发挥显著作用。

• 局限性与未来方向

  1. 局限性:
     • 样本仅限于美国用户，未覆盖国际用户的文化差异。
     • 访谈召集的参与者较少，影响某些类别障碍的普遍性分析。
     • 未考虑更广泛的残疾类型，如自闭症谱系障碍。
  2. 未来方向:
     • 对其他国家以及文化背景的众包工作进行辅助性研究。
     • 将新的残疾类别纳入研究范围，深化对平台设计的指导建议。
     • 探索Crowdwork任务的心理支持和工具功能整合。

研究总结显示，通过优化平台设计和任务协调，可以显著提升AMT及类似众包平台对残疾人群体的辅助性价值。这对于推动社会公平和创新设计具有实际贡献。