在支持心理健康的共情多模态大型语言聊天机器人中使用非语言线索

DOI

尽管移动对话代理在提供数字心理健康支持方面越来越受欢迎，但其主要依赖言语输入，限制了对情绪表达做出反应的能力。因此，本研究设想利用当今设备的感官设备来增强聊天机器人的非语言共情能力。最初验证了多模态大型语言模型能够高精度地从面部表情推断情绪表达。随后在用户研究（N=200）中，研究了这种多模态输入对情感支持场景中响应生成和感知系统共情的影响。研究发现系统响应在语言表达的认知和情感维度上存在显著差异，但在感知共情方面没有显著增加。本研究展示了使用非语言语境调整大型语言模型响应的总体潜力，为未来在基于共情多模态大型语言模型的系统中增强交互的研究提供了参考。