ONYX：通过多模式交互任务学习辅助用户教授自然语言接口

文献标题

ONYX: Assisting Users in Teaching Natural Language Interfaces Through Multi-Modal Interactive Task Learning

文献信息

• 主题领域: 人机交互、自然语言接口、任务学习
• 关键词: 交互式任务学习、最终用户开发、自然语言接口、数据可视化工具、用户界面编程

研究背景与问题

• 自然语言界面(NLI)的普及使用户能够更自然地与计算系统互动，但其一刀切的设计常导致用户流失，尤其在用户输入新的自然语言(NL)指令时导致系统无法理解。
• 当前的现状是，NLI可以通过用户的自定义程序性与声明性知识进行扩展，但实际教学过程仍存在许多障碍，如：
  1. 理解用户演示的复杂多样性以及与特定目标间的通用化问题。
  2. 用户缺乏对NLI如何理解其输入的洞察力。
  3. 在教学过程中，用户经常需要多次试错。

研究动机与相关工作

• 现有交互式任务学习(ITL)方法主要聚焦声明性知识的通用化，程序性知识的通用能力仍不足。
• 数据可视化工具作为研究场景的理想对象，因其易导致歧义且需要多步操作来完成目标。
• 研究旨在探讨如何利用多模态的 ITL (结合自然语言编程和演示编程)来改进 NLI 的学习能力。

解决方案

核心方法

• 提出 ONYX，一个智能代理系统，结合多模态方式（自然语言编程和任务演示）用于学习 NL 输入，并从用户操作中提取程序性与声明性知识。
• 核心设计特色：
  1. 建议功能(Suggestions): 提供基于已知概念和用户定义程序的操作建议。
  2. 跟进问题(Follow-up Questions): 在用户的直接演示中，提出明确问题以消除歧义。
  3. 视觉与文本引导(Aids): 在关键教学阶段以视觉和文本方式展示系统理解，以帮助用户更直观地反馈与修正。

实施步骤

1. 用户参与设计:
   • 使用参与式设计（10名参与者）迭代开发六个版本以不断完善设计。
2. 核心交互流程:
   • 系统识别新 NL 输入的已知与未知部分后，提供教学建议。
   • 用户通过直接操作完成未学习部分，系统通过跟进问题增强歧义处理能力。
   • 所有过程通过可视化脚本表示，允许用户直观调整系统的理解。
3. 系统架构:
   • 基于 Web 的客户端-服务器架构，包含自然语言解析器和 ITL 代理模块。

研究成果

实验与评估

• 实验设计:
  • 对 42 名参与者进行在线实验，分为带关键功能的实验组与基础功能的对照组。
  • 参加者需解决系统无法理解的三种典型 NL 输入任务，强调对建议和跟进问题的使用。
• 性能提升:
  • 提供建议和跟进问题的实验组教学准确率显著更高（中值为93.3%，对照组为73.3%，p < 0.001）。
  • 时间成本在两组间无显著差异。
• 行为分析:
  • 建议功能帮助用户快速识别系统学习的未知部分，并建立操作流程。
  • 跟进问题有效减少歧义相关错误（减少65.4%），但也发现用户需一定的学习时间来熟悉辅助功能。

主要优势

• ONYX 通过多模态 ITL 提升了用户教学新 NL 输入的效率和准确率。
• 引入的功能直接改善了用户对系统知识和教学过程的理解，减少试错成本。

局限性与未来方向

1. 多义性问题:
   • 当前系统无法处理同一 NL 输入在不同上下文的多义性，未来需利用情境信息（如用户行为历史、操作时间）模型化上下文。
2. 语义理解能力:
   • 系统对关键字、近义词和反义词的理解是局部的，需整合如词网(WordNet)等语义知识库增强语义解析。
3. 冷启动问题:
   • 初始系统知识有限，计划整合现有 NLI 工具的语言模型以缓解这一问题，并与基于机器学习的大规模 NL 处理模型结合。

总结

ONYX 在任务学习和个性化自然语言输入场景中提出了一种有效的协作方法，通过智能的多模态交互显著提升了用户使用自然语言教学系统的体验与效果，为未来的个性化 NLI 系统设计提供了借鉴。