ORES：降低维基百科中参与式机器学习的门槛

算法系统（从基于规则的机器人到机器学习分类器）在支持同行生产项目中的内容审核和其他编辑工作的重要任务方面有着悠久历史。从反破坏到任务路由，基本的机器预测使维基百科等开放知识项目能够扩展为世界上最大的百科全书，同时保持质量和一致性。然而，关于质量控制应该如何运作以及算法应该扮演什么角色的讨论，通常由拥有开发和修改这些复杂算法系统技能和资源的专业工程师主导。在本文中，我们描述了 ORES：一种支持使用多个在不同数据集上训练的独立分类器对维基百科编辑进行实时评分的算法评分服务。ORES 将通常由工程师执行的多项活动分离开来：选择或管理训练数据、构建提供预测的模型、审计预测以及开发基于这些预测自动运行接口或代理的工具。这个元算法系统旨在向更广泛的参与者开放关于维基百科算法的社会技术讨论。在本文中，我们讨论了 ORES 所实现的社会变革理论机制，并详细介绍了自部署以来5年多来围绕 ORES 进行的参与式机器学习案例研究。