招募具有编程技能的参与者：四种众包平台和计算机科学学生邮件列表的比较

文献标题

Recruiting Participants With Programming Skills: A Comparison of Four Crowdsourcing Platforms and a CS Student Mailing List

文献信息

• 主题领域: 人机交互、众包、开发者研究
• 关键词: 招募、开发者、众包、可用隐私与安全、编程、数据集、实证软件工程

研究背景与问题

• 在需要具有编程技能的用户参与的实验研究中，如何找到可靠的参与者始终是一个挑战。
• 众包平台（如 MTurk、Prolific）和计算机科学（CS）学生经常被用作实验参与者的来源，然而这些渠道在外部有效性和实验结果的代表性方面有一定限制。
• 当前研究的目标是为学者提供关于招聘具有编程技能参与者的最佳途径的额外背景信息，重点研究众包平台与 CS 学生群体之间的差异。

研究问题（RQs）

1. 哪些招募渠道适合招募具有编程技能的参与者？
2. 哪些自我报告的信息与答对所有编程筛选问题相关性较高？
3. 不同招募渠道的编程技能参与者在隐私、安全态度以及安全开发自我效能感（secure development self-efficacy）方面有何不同？

解决方案

• 方法: 构建了一个由五部分调查问卷组成的研究工具，涵盖编程技能、隐私和安全态度及安全开发自我效能感。问卷被分发至五种渠道（Appen, Clickworker, MTurk, Prolific 和一所大学的 CS 学生邮件列表）。
• 创新之处: 首次对多种已建立的问卷工具进行综合评估，用以比较五种招募渠道的差异。
• 实施步骤:
  1. 筛选调查: 确定参与者在工作状态、英语熟练度以及编程经验是否符合需求。
  2. 主调查: 使用既有的五种调查工具（如 REALCODE、PROGEX、SSDSES、SEBIS 和 IUIPC）来全面衡量参与者的技能和态度。
  3. 对于回答编程技能较低的参与者的后续分析使用描述性统计。
  4. 使用统计模型分析自变量（如渠道、职业角色、PROGEX得分）与是否正确回答所有编程问题之间的关联性。

研究成果

• 具体成果:
  • 参与者中总体上有34.6%正确回答了所有编程问题（REALCODE）。CS学生的正确率最高（89%），其次是Clickworker（63.2%），Prolific（33.2%），而Appen参与者无一答对全部。
  • CS学生人群数据质量最高且成本最低。
  • PROGEX数据显示，MTurk参与者尽管在编程方面的自评得分更高，但他们在真实编程问题上表现较低。
  • 使用Prolific平台可更有效招募到具备基础编程技能的样本。
• 优势对比:
  • 与现有解决方案相比，通过大学 CS 学生招募加上 Prolific 平台提供更高性价比和数据质量。
  • Prolific具有更少的重复数据和较低的注意检查错误率。
• 实验结果:
  • 自我报告的“编程经验”不能很好地反映参与者的编程技能，尤其是“是否具备编程技能”这一选择在不同群体中理解不一。
  • 年龄和职业角色与编程技能的关联性较强，特别是当参与者为开发者角色或具有较长软件开发经验时。
• 局限性与未来方向:
  • 研究仅限于一所大学的 CS 学生，对其他学校或地区的适用性可能存在差异。
  • 提出了扩大REALCODE工具的题库，以防止广泛使用后出现数据污染的可能。
  • 今后的研究可尝试更大范围或更加异质的招募渠道，如社交媒体等。

总结与建议

本文为后续开发者研究领域在参与者招聘方面提供了全面的数据对比支持。研究对高校学生与多个众包平台的招募策略进行性能与成本分析，建议未来研究者充分利用大学资源，同时建议众包平台优化筛选系统以支持更精确的技能判别。