评估AI系统的公平性：AI从业者的流程、挑战与支持需求

为支持从业者识别、评估和减轻AI系统造成的公平性相关伤害，学界已开发各种工具和实践。然而，先前研究指出这些工具和实践的设计意图与特定情境下的实际使用之间存在差距，组织因素对公平性工作的影响也是导致差距的原因之一。本文针对这一实践差距展开研究：以揭示不同人口群体间性能差异为目标的AI系统分解评估。通过对三家科技公司十个团队的33名AI从业者进行半结构化访谈和结构化研讨会，我们识别了从业者在设计分解评估时的流程、挑战和支持需求。研究发现，从业者在选择绩效指标、确定最相关的直接利益相关者和人口群体、以及收集用于进行分解评估的数据集时面临挑战。更普遍地，我们发现公平性工作受到以下因素的影响：缺乏与直接利益相关者的接触、优先考虑客户而非边缘群体的商业需求，以及大规模部署AI系统的压力。