将机器学习数据与策展人协作实践中获得的符号知识整合以改进对话系统

文献标题

Integrating Machine Learning Data with Symbolic Knowledge from Collaboration Practices of Curators to Improve Conversational Systems

文献信息

• 主题领域: 人工智能、机器学习、人机交互和对话系统
• 关键词: Conversational Systems, Documentation, Neuro-symbolic Systems, Curatorial Practices, Knowledge Graph, Intent Recognition, Collaboration, Taxonomies, Machine Learning, Zero-Shot Learning

研究背景与问题

• 研究背景:

  • 在对话系统中，开发者和领域专家（称为“策展人”）经常嵌入元知识到代码中的注释或命名中，用于协作和文档。当前机器学习方法通常将这些附属信息忽略，只聚焦训练数据和模型本身。
  • 传统的代码与文档之间有严格区分，但随着神经网络的普及，这种分界有可能被打破。
  • "ChatWorks" 是研究的主要对象，用于创建基于意图目标和相应行为规则的聊天机器人。

• 研究问题:

  1. 策展人是否普遍在意图标识符（nameIds）中嵌入“原型分类”（proto-taxonomies）？
  2. 这些原型分类是否能够用于提高会话系统的计算性能？尤其是检测系统无法覆盖的用户语句（OOS，Out-of-Scope）能力。
  3. 原型分类是否可以用来开发辅助策展任务的工具，例如在用户聊天记录中挖掘新的意图？

• 重要性:

  • 了解代码和文档的融合潜力，可以改进机器自身性能并帮助策展任务。
  • 神经符号技术（neuro-symbolic algorithms）结合传统符号推理与深度学习，可以突破现有对话系统的局限性。

• 相关工作: 涉及编码注释处理、分类结构学、知识图谱生成以及神经符号算法的最新进展。

解决方案

• 方法或解决方案:

  • 提取和构建意图原型分类（proto-taxonomies）：从策展人用于意图标识符的文档嵌入知识中挖掘分类结构。
  • 利用神经符号算法，把传统的神经网络输入和基于符号的 intent embeddings 融合。
  • 使用这些结构辅助策展人的日常任务（如新意图挖掘）。

• 创新之处:

  • 首次建议在对话系统中利用嵌入文档的策展知识。
  • 用神经符号技术将嵌入路径表示转化为机器可用的知识图形。
  • 对新意图挖掘任务提出了不需要明确训练数据的零样本学习（Zero-Shot Learning）解决方案。

• 实施步骤:

  1. 数据挖掘: 使用一个算法从意图标识符中提取连续概念和链接，构建原型分类。
  2. 实验与验证:
     • 分析 26,000 个对话工作区的数据，挖掘普遍的路径结构。
     • 使用神经符号算法代替传统神经网络进行性能对比。
  3. 工具开发: 创建基于意图原型分类的新意图挖掘算法，通过随机图遍历生成新的名称路径候选项。
  4. 验证环境: 在金融聊天机器人数据集与 ChatWorks 的大规模数据集中分别测试提升效果。

研究成果

• 研究结果:

  1. 普遍性:
     • 超过 76% 的聊天工作区在策展过程中使用意图原型分类，尤其在复杂任务中更常见。
     • 尽管没有平台强制要求，策展人自发地通过意图标识符的结构进行协作和管理。
  2. 性能提升:
     • 神经符号算法（如 USE+T 和 USE+C）显著提升了 OOS 检测能力，相比传统方法可减少错误接受率（FAR）。
     • 在 ChatWorks 数据中，大约 71% 的工作区 OOS 检测准确率提升超过 10%，其中 52% 的提升超过 20%。
  3. 工具开发:
     • 新意图挖掘算法表现出较高的分组准确性（63%-86%），能够合理支持策展工具，但需要实际用例验证。

• 与现有解决方案相比的优势:

  • 能利用策展人自发创建的符号知识，并显著提升系统准确性。
  • 跨越经典神经网络方法的限制，融入策展文档隐含规则。

• 实验细节:

  • 金融数据集实验: 从 285 个意图中随机移除 85 个模拟 OOS 情景，结果显示 USE+C 和 USE+T 方法显著降低错误接受率。
  • ChatWorks 数据集实验: 从 3,840 个英文工作区中选取 200 个进行大规模实验，证实新算法在多数场景中表现优异。

• 局限性与未来方向:

  • 限于当前实验环境，未能与策展人在实际使用中进行全面验证。
  • 未来计划研究更复杂领域的策展实践，例如开源代码和 Jupyter 笔记本的文档挖掘，以及其他大规模领域应用的扩展性实验。
  • 探讨机器使用与生成文档的伦理问题，评估其对策展人和开发者工作实践潜在的深远影响。

整体来看，本研究开创性地探讨了“让机器读取与使用人类文档”这一领域问题，结合实际工具开发和神经符号算法实验，展示了智能文档分析对提升对话系统性能的潜力。