面向对话智能体训练话语撰写的交互式指导方法研究

改进监督学习训练的对话智能体需要根据聊天日志迭代完善示例意图训练话语。该过程的难点在于部署前用于训练意图的初始示例话语的质量。我们采访了经验丰富的对话智能体意图训练师，深入了解他们创建新意图时面临的挑战及撰写高质量训练话语的最佳实践。利用这些发现和相关文献，我们开发了一个意图训练工具，通过语言反馈或示例话语提供交互式指导。语言反馈在训练话语可进行语言改进时通知用户，而示例话语通过众包获取，在部署意图前提供终端用户语言示例。我们在一项187名参与者的受试者间研究中比较了这两种指导类型。研究发现，语言反馈组的参与者报告了有限的创造力和更高的认知负荷，且花费更多时间完成任务，但在制作符合最佳实践的话语时更加深思熟虑。相比之下，示例话语组参与者利用样本快速选择示例或将其作为开发新话语想法的跳板。我们报告了用户经验的差异、参与者采取的策略以及对不同指导类型的偏好。