"我们直到生产才知道模型会如何表现"：工程师如何运营机器学习

DOI

组织依赖机器学习工程师（MLE）部署模型并在生产环境中维护ML管道。由于模型对新鲜数据的高度依赖，机器学习的运营（MLOps）要求MLE具备数据科学和工程方面的专业知识。整体来看，这项工作似乎令人望而生畏——MLE如何进行MLOps，他们未解决的挑战是什么？为了回答这些问题，我们对18名从事各种应用的MLE进行了半结构化民族志访谈，包括聊天机器人、自动驾驶汽车和金融。我们发现MLE参与的工作流程包括（i）数据准备、（ii）实验、（iii）多阶段部署中的持续评估，以及（iv）持续监控和响应。在整个工作流程中，MLE与数据科学家、产品利益相关者以及彼此之间进行广泛协作，用从Slack到组织范围内工单和报告系统的各种通信工具补充常规口头交流。我们引入了MLOps的3Vs：速度、可见性和版本控制——这是成功ML部署的三个要素，MLE在学习平衡和成长过程中逐步掌握。最后，我们讨论了设计含义和未来工作机会。