iSEA：NLP模型语义错误分析的交互式管道

视频

DOI

NLP模型的错误分析对于成功的模型开发和部署至关重要。诊断错误的一种常见方法是识别数据集中模型产生最多错误的子群体。然而，现有方法通常基于预定义特征来定义子群体，这要求用户提前形成错误假设。为了补充这些方法，我们提出了iSEA，即NLP模型语义错误分析的交互式管道，它在人机交互交互系统的背景下自动发现具有高错误率的语义 grounded 子群体。iSEA 使模型开发者能够通过发现的子群体了解更多模型错误信息，通过对发现子群体的交互分析验证错误来源，并通过定义自定义子群体来检验关于模型错误的假设。该工具支持在词符和概念层面以及预定义的高级特征上对错误易发子群体进行语义描述。通过用例和专家访谈，我们展示了iSEA如何辅助错误理解和分析。