为推荐系统增强知识图谱中的视觉信息

文献标题

Augmenting Visual Information in Knowledge Graphs for Recommendations

文献信息

• 主题领域: 知识图谱与推荐系统
• 关键词: 知识图谱, 异构信息网络, 图像特征, 用户建模, 推荐系统, 视觉扩展, 表征学习, 混合上下文, 深度学习, 路径推理

研究背景与问题

1. 问题或挑战:

   • 现有基于知识图谱的推荐系统主要集中于利用语义信息，而忽略了图像等视觉信息。
   • 在时尚等视觉因素影响较大的领域，图像特征可以为捕捉用户偏好提供丰富信息，但如何在知识图谱中融入并使用这些视觉信息仍是一个开放问题。
   • 检索到的知识图谱方法普遍仅考虑语义因素，未能联合视觉因素。

2. 重要性:

   • 视觉因素在某些领域（如服装推荐系统）具有显著影响。
   • 使用知识图谱和图像特征的结合可能有效解决数据稀疏问题，提高推荐系统的性能。

3. 研究动机与相关工作:

   • 借鉴现有知识图谱技术（如基于路径方法和嵌入方法）及图像特征提取技术（如 SIFT、SURF、CNN），提出一种结合语义信息和视觉信息的新方法。
   • 针对现有方法无法混合使用语义邻域和视觉邻域的问题，提出混合上下文中的表征学习机制。

解决方案

1. 提出方法:

   • 通过引入视觉因子实体和视觉关系扩展现有知识图谱，并称之为“视觉扩展知识图谱 (Visually-Augmented Knowledge Graph)”。
   • 提出一种基于视觉注释元路径（Visually-Annotated Meta-Paths）的用户表征学习方法，混合语义和视觉因素生成用户和物品的嵌入。

2. 创新之处:

   • 将图像特征作为视觉因子实体嵌入到知识图谱中（如通过 k-means 聚类生成视觉因子）。
   • 通过创建视觉注释元路径，首次实现语义邻域与视觉邻域联合上下文的生成。
   • 提出了利用用户的混合偏好向量（语义+视觉）生成可用嵌入的新方法。

3. 实施步骤:

   • 提取图像特征，包括局部特征（如 SIFT、SURF、ORB）和全局特征（如颜色直方图、 CNN 特征）。
   • 使用 k-means 聚类生成视觉因子，并将其与原始知识图谱中的实体和关系连接构建视觉扩展知识图谱。
   • 按照视觉注释元路径生成用户混合上下文的邻域。
   • 采用基于 skip-gram 的无监督学习方法学习节点嵌入，生成用户及物品的表征向量。

研究成果

1. 具体成果:

   • 提出的视觉扩展知识图谱以及用户表征学习方法显著改善了推荐性能。
   • 在两个数据集（Amazon 和 MovieLens）上的推荐任务均优于传统基于语义元路径的方法。

2. 与现有解决方案的比较与优势:

   • 提出的方法能够在用户稀疏交互的情况下更好地捕捉用户偏好。
   • 对比传统基于 metapath2vec++ 表征学习的推荐方法，考虑视觉信息的改进方法在精度和召回率上表现更优。

3. 实验与评估结果:

   • 在 Amazon 数据集上，SIFT 特征提取的视觉扩展元路径效果最佳。
   • 在 MovieLens 数据集上，CNN 和颜色直方图特征的视觉扩展效果显著。
   • 在已有知识图谱增强转移网络（KGAT）的基础上，通过融入视觉信息略微提高了推荐性能。

4. 局限性与未来方向:

   • 视频扩展知识图谱在现存含有大量语义因子的情况下，其附加价值较小。
   • 未来研究方向包括：探索更多种类的图像特征用于扩展知识图谱；引入时间因素等多模态融合；改进表征学习模型以更有效建模用户偏好。