Clarify: 使用自然语言纠正提高模型鲁棒性

视频

DOI

标准模型教学方法是向模型输入大量数据。然而，这种方法通常会教给模型错误的知识，因为它们会获取数据中的误导性信号。为了防止这种错误认知，我们必须提供超出训练数据的额外信息。先前的方法结合了实例级监督，例如误导性特征的标签或去偏数据的附加标签。然而，这些策略需要大量的标注工作。我们假设人们善于在概念层面提供文本反馈，而这是现有教学框架未利用的能力。我们提出Clarify，一个用于交互式纠正模型错误认知的创新接口和方法。通过Clarify，用户只需提供模型一致失败模式的简短文本描述。然后，我们以完全自动化的方式利用这些描述来改进训练过程。Clarify是第一个端到端的用户模型纠正系统。我们的用户研究表明，非专业用户可以通过Clarify成功描述模型错误认知，从而在两个数据集中提高最差情况性能。我们还使用Clarify对大规模图像数据集ImageNet进行了案例研究，发现并纠正了31个新的困难子群体。