基于相似性的解释与结构保持嵌入的矩阵分解方法

文献标题

Similarity-Based Explanations meet Matrix Factorization via Structure-Preserving Embeddings

文献信息

• 主题领域: 推荐系统中的模型解释性与矩阵分解方法结合
• 关键词: 推荐系统, 矩阵分解, 模型初始化, 相似性解释, 结构保留, 算法透明性

研究背景与问题

• 问题或挑战:

  • 矩阵分解（Matrix Factorization, MF）方法虽然是推荐系统的主流模型之一，但其获得的嵌入向量缺乏解释性，这可能降低用户对推荐结果的信任。
  • 当前许多解释方法（如基于KNN的用户/项目协同过滤）较为简单，能提供基于“相似性”的解释，但性能通常不如MF。
  • 类似的已有研究更多依赖显式的元数据或后置结构化模型进行解释，增加了不必要的复杂性或计算成本。

• 重要性:

  • 可解释性有助于提升用户对推荐结果的信任度、透明度和接受度。
  • 使复杂的ML/AI算法与用户更好地交互。

• 研究动机与相关工作:

  • 很少有工作专注于在不显著牺牲性能的前提下改善MF模型的相似性解释能力。
  • 作者认为可以利用降维方法（如PCA）来保持数据结构，增强MF模型的解释性。

解决方案

• 核心方法/方案:

  • 提出一种结合结构保留嵌入（structure-preserving embeddings）的矩阵分解方法，此方法通过PCA初始化嵌入来保持原始评分矩阵的结构特性。
  • 探索结构保留嵌入在实现KNN风格的解释方面所带来的好处，同时确保不降低预测精度。

• 创新之处:

  • 与传统的MF方法不同，提出的方法能够保留用户/项目之间在原始评分矩阵中的相似性。
  • 提出一种通过冻结部分PCA初始化嵌入因子来权衡预测效果与解释性的正则化策略。
  • 改进了MF模型的局部最优解，提高了模型的性能。

• 实施步骤与关键技术:

  1. 初始化嵌入:
     • 使用PCA对评分矩阵进行降维，获得用户和项目的低维嵌入。
     • 根据需要冻结PCA中保留数据结构的部分主因子，减少训练参数以强化解释能力。
  2. 正则化策略:
     • 控制冻结主因子的数量以调节解释性和预测精度之间的平衡。
  3. 算法实现:
     • 使用随机梯度下降（SGD）优化嵌入。
     • 模型允许多种变体：完全训练嵌入、冻结单一嵌入或双嵌入的部分维度。
  4. 评估方案:
     • 通过Mantel测试衡量嵌入是否保留了原始矩阵的距离关系。
     • 通过邻域重叠（Neighborhood Overlap）度量解释性如何接近KNN推荐的效果。

研究成果

• 具体成果:

  • 使用结构保留嵌入后，传统MF模型获得了显著改善的相似性解释性，而预测性能保持稳定或有所提升。
  • 通过对Movielens和Amazon等四个数据集的实验验证，其邻域重叠指标显著提升，同时预测RMSE保持或优于基线模型。

• 与现有解决方案相比的优势:

  • 解释性提升: 原始评分矩阵中相似用户和相似项目的关系更好地在嵌入空间中得以保留。
  • 预测能力未受损: 方法在控制嵌入训练维度的同时，仍能找到比传统MF更优的局部最优解。
  • 灵活性: 提供多种模型变体，适应不同的应用场景（如用户或项目解释）。

• 实验或评估结果:

  • 在Movielens 100k和1M数据集上，方法的RMSE与基于深度学习的复杂方法接近（例：与GHRS和GLocal-K相差0.01以内）。
  • 对于所有实验数据集，无论冻结PCA嵌入的比例如何，解释性显著高于标准MF方法。
  • 通过分析损失函数的优化路径，发现使用PCA初始化的模型更容易找到局部最优解。

• 局限性与未来方向:

  • 方法目前只在评分预测任务上测试，未来计划扩展至推荐排序任务。
  • 未来计划探索非线性降维方法（如流形学习）以进一步优化嵌入初始化。
  • 将进行用户研究以评估解释增强对用户体验的具体影响。