VibE：用于CVML模型子群体级语义错误分析的可视化分析工作流

DOI

有效的错误分析对于CVML模型的成功开发和部署至关重要。理解模型错误的一种方法是总结错误样本的共同特征。在使用图像等非结构化复杂数据的任务中，这一点尤其具有挑战性，因为模式并不总是显而易见。另一种方法是分析预定义类别间的错误分布，但这需要分析师预先假设潜在错误原因。由于缺乏明确的标签或注释，形成这种假设很困难，分析师必须依赖人工检查、先验知识或直觉。这种缺乏结构化指导的情况会阻碍对模型失败位置的全面理解。为解决这些挑战，我们引入了VibE，一种语义错误分析工作流，旨在识别CVML模型在子群体层面的失败位置和原因，即使在标签或注释不可用的情况下。VibE包含几个核心功能以增强错误分析：语义子群体生成、语义汇总、候选问题建议、语义概念搜索和交互式子群体分析。通过利用大型基础模型（如CLIP和GPT-4）以及可视化分析，VibE使开发者能够语义化地解释和分析CVML模型错误。这个交互式工作流通过子群体发现帮助识别错误，通过自动生成的子群体摘要和建议问题支持假设生成，并通过语义概念搜索和比较分析支持假设验证。通过三个不同的CVML任务和深入的专家访谈，我们展示了VibE如何协助错误理解和分析。