基于知识图谱补全的对话式领域知识获取问题选择框架

文献标题

Knowledge Graph Completion-based Question Selection for Acquiring Domain Knowledge through Dialogues

文献信息

• 主题领域: 自然语言对话系统、知识图谱、知识获取
• 关键词: 对话系统, 知识获取, 知识图谱补全, 问题选择, 用户互动, 主观评估, 模糊知识建模

研究背景与问题

• 发现的问题/挑战:

  • 构建一个在特定领域内完美的知识库是非常困难的。
  • 知识图谱作为对话系统的知识库在完善性方面存在缺陷。
  • 通过与用户的自然语言对话来校准知识获取内容时，存在误选包含错误知识的问题，从而降低了用户的对话意愿。

• 研究的意义:

  • 自然语言对话提供了通过用户共享知识增强系统知识库的机会，同时可以丰富用户交互体验。
  • 知识图谱完善对于支持信息服务系统（如推荐或问答系统）的正常运行至关重要。

• 相关工作:

  • 已有研究探讨了对话系统如何利用知识图谱理解用户意图并生成推荐或响应，但这些方法大多基于固定的知识图谱。
  • 一些研究尝试通过对话来获取词汇或本体知识，但对如何避免用户产生负面印象以及问题生成的正确性讨论较少。

解决方案

• 方法/框架:

  • 提出了一种基于知识图谱补全（KGC）的框架，用于预测可能正确的链接并据此选择系统向用户询问的问题。
  • 在补全得分较高的链接上生成问题，并避免使用得分较低的链接以降低用户可能的负反馈。

• 创新点:

  • 基于 KGC 输出分数优化问题选择策略。
  • 通过两种训练阶段的修改提高 KGC 输出分数的可靠性。
    1. 利用实体名称的子字符串连接未链接的实体。
    2. 限制负采样范围，使训练过程更集中于有效样本。

• 实施步骤:

  1. 预测知识图谱中的未知链接，生成候选三元组和其相关得分。
  2. 筛选得分较高的三元组生成自然语言问题供用户验证。
  3. 改进模型训练以提高得分可靠性，包括子字符串扩展和约束负采样范围。
  4. 用户交互后将用户确认的链接添加至知识图谱以实现持续改进。

• 使用的关键技术:

  • 知识图谱补全方法 ComplEx，用于生成嵌入和预测链接。
  • 设计的“子字符串生成”以及“负采样限制”增强方法。

研究成果

• 具体成果:

  • 实验结果显示改进后的 ComplEx 模型（Sub+NF）在 Hits@1 指标上显著优于未经改进的基线模型。
  • 在食物和餐馆领域，通过众包用户调查，获得的系统问题更合理，减少了潜在的负面用户印象。

• 与现有解决方案的比较:

  • 与未作任何修改的 KGC 方法相比，新增的 Sub 步骤显著提高了不完整知识图谱中的链接预测准确性。
  • 在用户测试中，改进后模型生成更多“正确”和“明显正确”的问题（44.0% 的评分为正，显著高于基线的 28.2%）。

• 实验和评估结果:

  • 评估对象: 通过交叉验证计算预测准确性 (Hits@1)。
  • 实验数据: 一个手动构建的食物和餐馆领域知识图谱（包含 7,304 个实体，14 种关系，27,914 个三元组）。
  • 评价指标:
    • 改进后模型 Hits@1 值对多个关系类型均有提升，整体准确率从 24.2% 提升至 36.1%。
    • 主观用户评价中的模板问题正确率显著提高，Sub+NF 问题的正向评价比例比 Baseline 高 15.8%。

• 局限性与未来方向:

  1. 局限性:

     • 改进方法对不完整实体名称相似性依赖较大，适用于特定领域。
     • “明显正确”的问题可能被用户视为重复且乏味，需要进一步优化问题策略。

  2. 未来方向:

     • 将框架集成到对话系统中并测试其实际用户体验提升效果。
     • 探索动态调整对话策略以使问题更契合用户偏好。
     • 研究新知识图谱的组成特性（如不同语言环境）对解决方案适用性的影响。