如何使用可解释性方法来支持计算机视觉模型中的错误识别？

文献标题

How can Explainability Methods be Used to Support Bug Identification in Computer Vision Models?

文献信息

• 主题领域: 人机交互与计算机视觉中的深度学习模型调试
• 关键词: 计算机视觉, 机器学习模型调试, 机器学习可解释性, 用户界面, 深度学习, 错误识别, 交互设计

研究背景与问题

• 发现的问题或挑战: 深度学习模型（特别是图像分类模型）在部署后往往暴露出危险问题。这些问题的排查及其背后错误（bugs）的识别过程仍然不足且缺乏深入研究。尽管许多研究提及了可解释性方法在错误识别中的潜力，但目前实践中缺乏对何种解释性方法能最好地支持错误识别各步骤的明确认识，也缺乏相关的人机交互研究。
• 研究重要性: 计算机视觉模型错误可能导致错误预测，从而带来安全风险或社会危害。因此，模型开发过程中尽早发现并解决错误显得尤为重要。
• 研究动机与相关工作:
  • 机器学习社区开发了许多可解释性方法，但这些方法的实际用途及影响仍缺乏系统研究。
  • 传统软件调试有成熟方法（如上下文收集、假设验证等），但这些方法在计算机视觉模型中的适配性尚未探索。
  • 当前仅有少量研究尝试结合用户界面设计为调试模型提供支持。

解决方案

• 方法或解决方案:
  • 作者提出了一种设计探针（design probe），通过交互界面展示多种潜在相关的可解释性功能。
  • 使用文献研究、形成性研究（18次半结构化访谈）、迭代共创过程开发一个交互式工具。
• 创新之处:
  • 集成多种类型的解释（如局部、全局、文本、图像）于交互界面中。
  • 设计支持灵活调试工作流的界面，而非强加固定顺序。
  • 用真实的用户研究验证解释性方法对错误识别的具体支持。
• 实施过程与技术:
  • 工具功能的设计：包括性能评估、本地与全局解释、对比分析、重要性排名等。
  • 工具被组织成多个独立功能模块（如"查询"标签页、"混淆矩阵"标签页等）。
  • 设计并实现一个用于调试鸟类分类模型的案例。
  • 创建数据探查功能以结合专家领域知识，支持模型性能分析和错误诊断。

研究成果

• 具体成果:
  • 超过三分之二的参与者能够成功利用工具识别模型中的错误。
  • 参与者能够利用多种类型的解释性功能探索错误原因，提出潜在的纠正措施。
  • 显示局部和全局解释之间具有互补性，可帮助开发者形成和验证假设。
• 与现有方案的优势:
  • 支持更丰富的错误识别和调试功能，而不仅仅是依赖图像显著性图(local saliency maps)。
  • 提供了对识别隐式错误（例如，模型尽管预测正确但使用了不恰当的特征）的能力。
• 实验或评估结果:
  • 参与者平均识别3.5个bugs，最高识别7个。
  • 不同经验水平的机器学习开发者对工具功能的接受度和反应各有不同。
  • 功能多样性和交互性被认为是缩短调试时间、提高效率的关键因素。
• 局限性与未来方向:
  • 限于特定任务的深度学习模型解释性研究，未来研究有必要拓展至其他计算机视觉应用。
  • 对不熟悉领域知识的开发者，工具需要提供更好的指导和帮助。
  • 提出了加强可解释性方法开发及探讨将自动化调试方法与人工调试结合的迫切需求。
  • 若工具对用户进行更紧密的路径引导和提供设计驱动的体验，将会进一步提高调试效率和准确性。

总结

本研究提出了基于用户调研成果与多种可解释性功能设计融合的工具原型，实现了对计算机视觉模型在错误识别中的强大支持。研究不仅为调试实践提供了创新案例，也为可解释AI和人机交互领域的未来研究提供了重要启示。