RECAST：通过交互可视化实现毒性检测模型的用户补救与可解释性

视频

DOI

随着有毒语言在网络上的广泛使用，平台越来越多地采用利用自然语言处理进展的自动化系统来自动标记和删除有毒评论。然而，大多数自动化系统——虽然在检测和调节有毒语言——并不向用户提供反馈，更没有为用户提供做出可操作改变的补救途径。我们展示了我们的工作成果 RECAST，一个交互式开源网络工具，用于可视化这些模型的有毒预测，同时为标记的有毒语言提供替代建议，并为用户提供新的补救途径。RECAST 突出显示负责分类毒性的文本，并允许用户交互式地用中性替代词替换可能有毒的短语。我们通过两项大规模用户评估检验了 RECAST 的效果，发现 RECAST 在帮助用户减少模型检测到的毒性方面非常有效，用户对黑盒模型所使用的基础毒性标准有了更强的理解，实现了透明度和补救。此外，我们还发现，当用户专注于为这些模型优化语言而非自己的判断时（这正是部署这些模型的隐含激励和目标），这些模型与人类标注相比不再是有效的毒性分类器。这开启了一个讨论：毒性检测模型如何工作并应该如何工作，以及它们对未来讨论的影响。