面向任务导向对话中会话破裂的多模态修复

任务导向对话代理面临的主要问题是对会话破裂缺乏修复支持。先前研究表明，当前针对此类错误的修复策略往往无效，原因在于：(1)系统对用户话语理解状态缺乏透明度；(2)系统理解用户修复自然语言理解错误的言语尝试能力有限。本文介绍SOVITE，这是一种新的多模态(语音加直接操作)界面，帮助用户发现、识别会话破裂原因并从中恢复，同时利用现有移动应用GUI进行基础。SOVITE使用GUI截图展示系统对用户意图的理解，允许用户在对话中引用第三方应用及其GUI屏幕作为意图消歧的输入，并允许用户通过直接操作这些截图来修复破裂。10名用户在7个场景中使用SOVITE的远程用户研究结果表明，该方法可用且有效。