使用 Ballet 框架实现协作式数据科学开发

开源软件开发模式促成了构建软件系统的大规模成功协作，但数据科学项目通常由个人或小团队开发。我们描述了扩展数据科学协作面临的挑战，并提出了一个概念框架和 ML 编程模型来应对这些挑战。我们在 Ballet 中实现了这些思想，这是一个用于协作式开源数据科学的轻量级框架，专注于特征工程，并配有配套的云端开发环境。使用我们的框架，协作者增量地向仓库提交特征定义，每个特征都会进行 ML 性能评估，并可自动合并到可执行的特征工程管道中。我们利用 Ballet 对收入预测问题进行了案例研究分析，有 27 名协作者参与，并讨论了对未来协作项目设计者的启示。