使用基于图像的语言模型生成情感对话

基于计算机的对话代理正变得无处不在。然而，为了让这些系统对用户来说更具吸引力和价值，它们除了提供信息性回应外，还必须能够表达情感。人类在对话中依赖的不仅仅是语言；视觉信息是提供上下文的关键。我们展示了第一个使用视觉情感、面部表情和场景特征的基于图像的对话代理示例。我们表明，通过用于训练代理的特征，可以操纵生成的对话的关键质量。我们在来自社交媒体（Twitter）的大型且极具挑战性的对话数据集上评估了我们的模型。基于图像的定位导致了更丰富、更情感化和更具体的回应，而且可以根据使用的图像特征调整具体质量。此外，当根据标准自然语言指标进行评估时，我们的模型提高了对话回应的客观质量。