利用视觉增强对话代理提升互动艺术展览的访客参与度

艺术展览中的对话代理可以通过提供上下文信息（尤其是语音交互）来增强用户参与度和艺术品理解。然而，与艺术建立更深层的个人联系——这通常需要直接的美学和视觉体验——仍然是一个挑战。本文研究了将视觉感知整合到对话代理中如何增强与访客艺术诠释的对齐，从而促进与互动艺术展览的更深层参与。我们介绍了一款通过多模态大语言模型（MLLM）增强的语音对话代理，使代理能够实时感知并与访客讨论艺术品。该系统采用简化的检索增强生成（RAG）架构，收集语音输入，从领域知识图中检索相关信息，并使用 LLM 生成对话响应，然后转换为语音输出。我们对 36 名参与者进行了用户研究，分为两组，以比较增强系统与缺乏视觉输入的基线系统。结果表明，视觉增强系统显著提升了访客参与度和满意度。对话记录的内容分析进一步揭示了更广泛的对话主题、更深入的访客感知，以及代理提供更细致入微的、与视觉相关讨论的能力。