利用众包故障报告发现和验证人工智能错误

AI 系统可能无法学习重要的行为，导致现实世界的问题，如安全问题和偏见。发现这些系统性故障通常需要开发者大量的注意力，从假设潜在边缘案例到收集证据和验证模式。为了扩展和简化这一过程，我们引入了众包故障报告，即最终用户对模型如何或为何失败的描述，并展示了开发者如何使用它们来检测 AI 错误。我们还设计并实现了 Deblinder，一个用于综合故障报告的可视化分析系统，开发者可以使用它来发现和验证系统性故障。我们通过对 10 名 AI 实践者进行半结构化访谈和出声思考研究，探索了 Deblinder 系统的能力以及故障报告在现实环境中的适用性。最后，我们展示了如何通过从开发者识别的群体收集额外数据来改进模型性能。