比较通用和社区定位众包在物质使用障碍恢复背景下用于数据验证的方法

文献标题

Comparing Generic and Community-Situated Crowdsourcing for Data Validation in the Context of Recovery from Substance Use Disorders

文献信息

• 主题领域: 人机交互 (HCI)，众包技术与社群驱动的数据验证
• 关键词: 众包，社区驱动众包，数据验证，Alcoholics Anonymous (AA)，线上恢复社群，任务筛选，ICT系统设计

研究背景与问题

• 发现问题或挑战:

  1. 通用众包平台（如MTurk）的工作者虽然数量庞大，但难以保证他们具备完成特定任务的背景知识或技能，这导致数据质量存在挑战。
  2. 针对社区相关任务（如AA会议数据的验证），通用众包方法无法充分利用具有背景知识的工作者的优势。
  3. AA会议信息的数据验证任务尤为重要，因为它涉及对酒精使用障碍者的支持，但目前的全球会议清单缺乏准确性。

• 研究重要性: 确保AA会议数据的准确性对帮助新成员找到可靠的会议信息至关重要，进而促进他们的康复过程。

• 研究动机与相关工作: 作者希望从社区驱动的角度探讨如何提高众包任务的准确性，同时权衡时间、成本和准确性之间的关系。这与之前关于 "合适工作者" 提高众包质量的研究形成了补充。

解决方案

• 提出的方法或解决方案:

  1. 验证三种不同的工作者招募方法：
     • 通用众包平台（MTurk）的未筛选工作者（Generic MTurk Crowd）。
     • 来自通用平台、经筛选为AA成员的众包工作者（Filtered Community-Situated MTurk Crowd）。
     • 来自AA相关在线社群的志愿者（Unpaid Community-Situated ITR Crowd）。
  2. 将以上三类人群应用于数据验证任务，同时评估它们在时间、成本和准确性方面的表现。

• 解决方案的创新之处:

  1. 扩展了“社区驱动众包”（community-situated crowdsourcing）的概念，系统性比较了不同招募策略下的众包效果。
  2. 首次在AA会议数据验证的领域探索通用众包和社区驱动众包的效率差异。

• 实施步骤及关键技术:

  1. 设计并实施三个任务：会议页面验证、会议信息验证及未标注信息识别。
  2. 通过Python Flask框架开发任务界面，并使用已有验证数据集对工作者结果进行测试。
  3. 在三类人群中进行全面实验，记录任务完成时间、报酬和准确性。

研究成果

• 具体成果:

  1. 准确性: 社区驱动的志愿者群体（来自InTheRooms社区）在任务完成的准确性上显著高于通用众包工作者，尤其是在更复杂的验证任务中。社区驱动工作者的准确性整体比通用工作者高出16%。
  2. 招募时间:
     • MTurk通用工作者的招募最快（约1周）。
     • MTurk筛选后的社区工作者需要2周。
     • InTheRooms志愿者招募花费时间最长（约2个月）。
  3. 成本:
     • InTheRooms志愿者不需支付直接报酬，但平台广告费用高达$6000（每工作者平均成本$13.33）。
     • MTurk付费工作者成本较低，通用工作者每人$2.5，筛选后的社区工作者每人$2.57。
  4. 其他发现:
     • 带有12步会员标签的MTurk工作者虽然也表现很好，但任务完成时间上显著低于志愿者，表明获酬的动机可能影响答案质量。

• 与现有解决方案相比的优势:

  • 通过更系统的筛选机制吸收"社区"优势，显著提高了验证任务的质量。
  • 为包含健康支持社区在内的其他领域提供了可借鉴的众包设计方法。

• 实验或评估结果:

  • ITR社区志愿者更倾向于选择"不确定"选项来避免提供错误信息，体现了更高的自我认知能力。
  • 筛选后的MTurk社区工作者能够一定程度上弥合通用工作者与专业志愿者的差距，提供了方法上的灵活性。

• 局限性与未来方向:

  1. 局限性:
     • ITR成员的真实性无法完全验证，缺乏统一筛选机制。
     • 志愿者参与较耗时且涉及较高平台启动成本。
  2. 未来方向:
     • 探讨其他社区驱动平台的潜力，例如Facebook健康群组。
     • 深入研究动机和奖励机制对社区驱动众包质量的影响。
     • 扩展到其他非AA相关的健康支持或资源共享社区。

总结

本研究在AA会议数据验证任务中探索了通用与社区驱动众包的效率差异，提出了面向具体社区优化ICT系统的建议，对人机交互和众包领域的发展具有重要意义。