动员众包工作：对HITs移动可用性的系统评估

文献标题

Mobilizing Crowdwork: A Systematic Assessment of the Mobile Usability of HITs

文献信息

• 主题领域: 移动众包平台使用研究
• 关键词: Crowdwork, Mobile Usability, Taxonomy, Human Intelligence Tasks, Mechanical Turk, HIT Usability, Crowdworker Preferences, Task Design, Microtask, Interaction Characteristics

研究背景与问题

• 发现的问题或挑战:

  • 当前众包工作（如Amazon Mechanical Turk，MTurk）的任务设计主要以桌面设备为中心，而智能手机等移动设备对任务的支持不足，使用体验较差。
  • 虽然智能手机拥有广泛的用户群，但人类智能任务（HIT）的移动可用性特征尚未明确，影响了移动设备在众包工作中的有效性。

• 重要性:

  • 众包工作已成为21世纪重要的数字职业形式，众包平台每天吸引成千上万的新用户。此外，智能手机用户比台式电脑和笔记本电脑用户还要广泛，许多众包工人依赖智能手机工作，这使得优化移动设备的任务设计尤为关键。
  • 如果任务可以跨设备地高效使用，不仅会提升众包工人的生产力，还有助于让更多低收入人群和边缘化群体获取工作机会。

• 研究动机与相关工作:

  • 现有研究表明，移动设备与传统工作站在屏幕大小、计算能力等方面的限制不同，但具体到任务界面如何适配于移动使用，仍未有系统的分析。
  • 之前通过手机进行部分众包任务（如图像分类、语音转录）的研究表明，移动设备的潜力巨大，但任务设计和可用性研究较零散，缺乏系统的框架。

解决方案

• 研究方法:

  • 作者设计了一种新的分类法（taxonomy），用以定义移动设备上HIT的可用性特征，研究过程包括三个阶段：
    1. 文献分析: 在第一步中，研究团队通过相关文献总结初步的HIT移动可用性特征。
    2. 验证与扩展: 使用在线调研搜集MTurk工人的反馈，进一步验证和扩展该分类法。
    3. 实践演示: 应用该分类法对从MTurk抓取的519个任务进行分析，以评估其移动可用性。

• 创新之处:

  • 提出了适用于微任务的移动可用性分类法（包括任务和交互特性两个维度，共7个具体特征）。
  • 系统地将移动任务的特点与工人的实际体验进行关联，并第一次对真实HIT任务数据集进行了移动可用性方面的分析。

• 实施步骤与关键技术:

  1. 开发分类标准: 利用名义小组技术（NGT）从文献中提取任务相关特性，并通过专家团队讨论与优化。
  2. 工人调研: 针对众包工人设计问卷，了解他们当前使用手机完成任务的实践及改进需求。
  3. 任务抓取与质量评价: 编写网络爬虫提取MTurk任务数据，通过截图评估任务界面的可用性特性。

研究成果

• 具体成果:

  • 提出了一种分类法，细分为任务特性（Task Characteristics，如任务分割性、任务大小、 off-site需求等）和交互特性（Interaction Characteristics，如多设备需求、交互方式等）。
  • 调研表明，众包工人在移动设备上偏好特定类型任务，比如调查问卷或简单多选题。
  • 519个任务分析结果显示，有50%以上的任务在移动设备上表现出明显的可用性问题（如界面不适配、小屏幕滚动困难等），移动可用性因任务特性和设计而各异。

• 与现有解决方案对比:

  • 研究超越以往关于移动众包单一情境的碎片化研究，提供了一个全面的、可评估的框架。
  • 强调了移动设备任务设计的关键性，并显示了一些任务类型可以通过简单调整大幅度提升移动可用性。

• 实验或评估结果:

  • 图像分类和调查问卷等任务类型被评判为最适合移动设备完成。
  • 超过70%的任务无需移出主任务界面查找信息，表明满足“off-site无需求”这一特性可以显著提高任务的移动可用性。

• 局限性与未来方向:

  • 局限性:
    • 研究仅基于MTurk平台，未纳入其他众包平台（如Upwork）的任务。
    • 分类法对移动设备以外的其他设备（如平板电脑、语音助手）的适配性未深入探讨。
    • 抓取任务样本量（519个）相对有限，未囊括MTurk上所有任务类型。
  • 未来方向:
    • 扩大研究范围，覆盖更多设备类型及任务类型。
    • 开发自动化工具根据分类法实时评估任务设计的移动可用性，并为任务设计者提供优化建议。
    • 探讨跨设备的任务分配与管理框架，提高动员不同设备的工作潜力。