数字角色对话的多模态对话行为分类

对话行为分类对于使数字角色能够有效理解和回应用户意图至关重要，从而带来更吸引人和无缝的交互。先前的研究仅关注从转录文本中分类对话行为，因为缺乏多模态数据。我们通过从60名参与者收集新的多模态（即文本、音频、视频） dyadic对话数据集来填补这一空白。基于我们的数据集，我们开发了一种新颖的基于多模态Transformer的对话行为分类模型。我们展示了我们的模型可以实时预测四类对话行为，宏F1分数高达80.81%，优于单模态基线1.24%。我们的分析表明，与最高声能相关的句子片段最具预测性。通过利用我们的新多模态数据集，我们为增强数字角色交互体验的动态、实时和情境丰富的对话铺平了道路。