VIME: 用于识别序列决策机器学习模型能力与局限性的视觉交互式模型浏览器

视频

DOI

确保机器学习模型做出正确且有意义的推断对于在关键决策场景中广泛应用至关重要。因此，机器学习模型工程师越来越多地使用可解释人工智能工具来研究其模型的能力和局限性。然而，解释在每个时间步做出系列决策的序列机器学习模型仍然具有挑战性。我们提出视觉交互式模型浏览器（VIME），这是一种可解释人工智能工具箱，使机器学习模型工程师能够在不同的"假设"场景中解释序列模型的决策。我们对14位机器学习专家进行了评估，他们使用VIME和一个基线可解释人工智能工具箱来探索"假设"场景，研究两个现有的序列机器学习模型。结果表明，与基线工具箱相比，VIME更容易识别和解释模型做出错误决策的实例。我们的工作为未来评估基于序列机器学习的决策支持系统的交互式可解释人工智能机制的设计提供了参考。