反事实解释可能不是最佳算法追溯方法

DOI

算法追溯是解释性AI中快速发展的子领域，旨在为面临不利算法结果的用户提供说明，指出如何逆转所述结果。机器学习社区的XAI研究虽不局限于反事实解释，但其算法追溯子领域确实如此，采用假设最优追溯方式是通过反事实解释。尽管人类-AI交互研究已对解释进行了广泛探索，但将这些发现转化到算法追溯设置并不直接，因为存在有意义的问题设置差异，导致反事实是否是最优解释范式的问题仍未得到解答。尽管直观上令人满意，但反事实的规范性特征使其在决策和解释生成算法未知的情况影响重新申请策略时容易导致糟糕结果。考虑到这些担忧，我们设计了一系列实验，比较算法追溯设置中不同的解释方法，明确纳入了决策和解释算法未知的情况影响重新申请策略的场景。在实验1中，我们比较了反事实与原因码（一种简单的基于特征的说明），发现两者产生相当的重新申请成功率，且当未知情况对重新申请策略影响较大时，原因码带来更好的用户结果。在实验2中，我们尝试改进原因码结果，将其与特征归因（一种信息更丰富的基于特征的说明）进行比较，但未发现改进。在实验3中，我们尝试用多重反事实说明条件改进原因码结果，发现多重反factuals带来更高的重新申请成功率，但在面对高影响未知情况时仍导致相对较差的用户结果。总体而言，这些发现质疑了标准反事实范式是否是算法追溯问题设置的最佳方法。