数据集数据表帮助机器学习工程师注意和理解训练数据中的伦理问题

视频

DOI

社会计算社区对机器学习模型有时产生的伦理问题（如隐私、公平性和问责制方面的违规）表现出关注。本文研究了机器学习工程师在处理真实世界数据集时能识别出何种伦理考量、如何构建理解以及做出何种决策。特别是，本文说明了「数据集数据表」这一旨在帮助工程师探索陌生训练数据的问责干预措施如何支持问题发现、理解和伦理决策过程。研究要求参与者审查一个故意设置的伦理问题数据集，并在使用该数据集解决给定机器学习任务时进行出声思考。23名参与者中，有11人在完成任务时被提供了数据表。参与者对数据集中的问题表现出足够的伦理敏感性；获得数据表的参与者确实打开并查阅了它；与没有数据表的参与者相比，有数据表的参与者在出声思考中更早且更频繁地提及伦理问题。出声思考协议提供了关于参与者如何识别、理解陌生数据集中的伦理问题并做出决策的详尽描述。本研究使用的方法可用于测试其他声称可鼓励技术人员识别、促进理解并支持决策的干预措施。