聊天机器人还是聊天阻碍者：部署前预测聊天机器人受欢迎程度

视频

DOI

聊天机器人被广泛应用于各种场景。然而，鉴于聊天机器人开发的高昂成本及其巨大的社会影响力，聊天机器人失败可能导致巨大的经济损失。先前的聊天机器人评估框架严重依赖人工评估，几乎无法支持部署前的自动早期聊天机器人检查。为了降低潜在损失风险，我们提出了一种计算方法来提取特征并训练模型，以对聊天机器人的受欢迎程度进行先验预测，这表明了聊天机器人的整体性能。我们提取的特征涵盖聊天机器人的意图、对话流程和响应设计。我们在一个最受欢迎的聊天机器人服务平台研究了1050个客服聊天机器人。我们的模型在非常受欢迎和非常不受欢迎的聊天机器人中达到了77.36%的预测准确率，迈出了聊天机器人部署前计算反馈的第一步。我们的评估结果还揭示了与聊天机器人受欢迎程度相关的关键设计特征，并为聊天机器人设计提供了指导。