使用现成有害内容检测模型：模型重用的最佳实践

监督机器学习是一种常见的方法，用于自动检测有害内容以支持内容审核。这种方法依赖于人工标注的数据来训练模型识别有害内容类别。对于检测任务，研究人员或内容审核社区通常要么设计自己的标注任务来为新的有害内容检测模型生成训练数据，要么使用现成(OTS)预训练有害内容检测模型。OTS模型重用可以在资源受限的背景下实现检测任务，并有助于减少训练新模型的环境影响——这是一个能源密集型的过程。然而，鉴于目前有大量OTS模型可供重用，确定重用哪个OTS模型以及如何使用它可能具有挑战性，特别是考虑到这些模型中的许多是为特定上下文开发的，而这些上下文并不总是容易转移到其他上下文。本工作旨在为有害内容检测任务重用OTS模型提供最佳实践。通过使用内容分析和统计方法来评估关于OTS模型实用性和可重用性的假设，我们表明模型重用者不能假设声称检测特定概念的模型实际上会检测到该概念。相反，基于我们的发现，我们提供了一个决策树，用于评估OTS模型对于新的有害内容检测任务是否适合重用。该决策树引导模型重用者批判性地评估概念定义、标注任务设计以及我们在内容分析代码簿中指定的附加特征，以识别预期的模型输出，从而评估该OTS模型是否适合新的检测任务重用。