理解机器学习从业者的数据文档感知、需求、挑战与愿望

视频

DOI

数据是机器学习模型开发和评估的核心。然而，使用有问题的或不适当的数据集在部署 resulting models 时可能导致伤害。为了通过更审慎地反思数据集及其创建过程的透明度来鼓励负责任的人工智能实践，研究人员和从业者已开始倡导加强数据文档化，并提出了几种数据文档框架。然而，目前很少有研究检验这些数据文档框架是否满足机器学习从业者的需求，他们既是数据的创建者也是数据的消费者。为了解决这一差距，我们着手了解机器学习从业者对数据文档的感知、需求、挑战和愿望，最终目标是推导可用于指导未来数据文档框架的设计要求。我们对一家大型国际科技公司的14名机器学习从业者进行了半结构化访谈。我们让他们回答了来自数据集说明书的一系列问题。我们的发现表明，当前的数据文档方法在本质上大多是临时的和短视的。参与者表示需要数据文档框架能够适应他们的上下文，集成到他们现有的工具和工作流程中，并尽可能实现自动化。尽管数据文档框架的动机通常来自负责任人工智能的视角，但参与者并未将他们被要求回答的问题与负责任人工智能的含义联系起来。此外，参与者在优先考虑数据集消费者的需求以及提供不熟悉其数据集的人可能需要的信息方面经常存在困难。基于这些发现，我们为未来的数据文档框架推导了七项设计要求，例如提供关于数据集特征如何可能导致伤害以及如何减轻这些伤害的更有针对性的指导、促进反思的更明确提示、自动化适应不同上下文，以及集成到机器学习从业者现有的工具和工作流程中。