VirtuWander：通过大型语言模型增强虚拟导游的多模态交互

文献标题

VirtuWander: Enhancing Multi-modal Interaction for Virtual Tour Guidance through Large Language Models

文献信息

• 主题领域: 人机交互，虚拟现实 (VR)，多模态交互，文化遗产技术
• 关键词: 虚拟博物馆, 多模态反馈, 大语言模型, 用户个性化, 虚拟现实, 导览体验, 人机交互, 知识增强, 博物馆导览, 交互设计

研究背景与问题

• 作者发现了哪些问题或挑战？

  • 在虚拟博物馆中实现有效的导览体验面临挑战。现有虚拟导览系统提供的交互通常是有限或半灵活的，例如预设路线或预先编写的评论，没有充分利用虚拟环境的灵活性和沉浸感。
  • 用户对不同场景下的导览需求具有高度个性化，这要求提供更多自然交互、多模态反馈以及适应具体需求的服务，而现有研究对此的支持有限。
  • 利用大语言模型（LLM）进行博物馆导览的潜力尚未被充分探索，尤其是在为用户提供情境化多模态反馈方面。

• 为什么这个问题很重要？

  • 虚拟博物馆在教育、文化遗产保护和学术研究中具有潜力，其核心在于提升用户旅游体验的沉浸性、参与度和知识性。
  • 通过面向个性化需求设计导览可以增强用户在虚拟博物馆的参与感与探索体验，从而推动虚拟技术在真实场景中的应用。

• 研究动机与相关工作

  • 本研究受当前虚拟博物馆交互需求的启发，总结了现有互动技术的局限性并结合多模态交互的研究趋势，以此设计更具灵活性和适应性的虚拟导览系统。

解决方案

• 作者提出了哪些方法或解决方案？

  • 提出了 VirtuWander，一个基于大语言模型（LLM）的创新导览系统，能够支持虚拟环境中的多模态交互。
  • 系统通过两阶段框架（情境识别和反馈生成）将用户输入的自然语言转化为情境化的导览指导，并生成多模态反馈。
  • 提供五种多模态反馈组合（如语音+虚拟形象+文本窗口等），满足不同情境和需求。

• 该解决方案的创新之处是什么？

  • 将多模态反馈与LLM能力相结合，实现了更加自然和智能化的用户交互方式。
  • 通过对任务类别（如信息增强、导航、个性化偏好）和反馈机制（如语音、文本窗口、虚拟屏幕）的框架化设计，针对性满足多样化的用户需求。
  • 针对虚拟博物馆这一特定场景设计并验证了系统，适用于不同的导览情境（如主题游览、单一艺术品探索、个性化定制）。

• 实施步骤是什么？使用了哪些关键技术？

  • 第一阶段：情境识别

    • 将用户输入的自然语言通过语音识别转化为文本。
    • 使用 LLM 提取用户任务分类，如信息增强、导航等。
    • 识别所需的背景信息（空间信息、语义信息等）。

  • 第二阶段：反馈生成

    • 使用多个基于 LLM 的子任务机器人（bots），通过定制提示(prompt)生成用户需要的多模态反馈。
    • 综合用户行为数据和环境上下文优化反馈质量。

  • 多模态反馈设计

    • 提供包含语音、虚拟形象、文本窗口、导航标志、地图、突出显示区域等创新组合的反馈方式。

研究成果

• 取得了哪些具体成果？

  • 开发了 VirtuWander 系统，对五种主要的多模态反馈组合进行了实现。
  • 展示了不同场景下的使用案例（如主题导览、单一艺术品探索、个性化导览），验证了系统的灵活性与适用性。
  • 用户研究表明 VirtuWander 系统大幅增强了导览体验，包括知识增强、自然沟通以及沉浸感。

• 与现有解决方案相比，它有哪些优势？

  • 相较于传统的虚拟导览系统，VirtuWander 提供了实时、个性化的多模态交互和智能化的知识补充。
  • 利用 LLM 能够进行任务分类、上下文关联和反馈生成，支持更复杂的用户需求。

• 实验或评估结果是什么？

  • 用户对多模态反馈（如虚拟屏幕、语音、突出显示等）的参与度和易用性评价普遍较高（Likert量表平均评分≥5/7）。
  • 系统被认为能够增强导览体验，尤其是在自然互动、任务定制以及博物馆知识获取方面。
  • 用户对未来在真实场景中扩展应用此类系统表现出高度兴趣。

• 局限性与未来方向

  • 局限性：

    • 系统对更复杂的物理互动、多人协作支持不足。
    • 大语言模型生成回答的准确性和标准化有待进一步优化，尤其涉及历史文化知识的场景。
    • 系统主要针对平面艺术展品设计，尚未覆盖3D展品的引导需求。

  • 未来方向：

    • 研究新的互动输入方式（如手势、触觉），以增强虚拟导览的表现力。
    • 探索主动与被动反馈相结合的交互方式，优化反馈时机。
    • 扩展系统的适用范围（如3D展品、考古遗址）。
    • 考虑使用增强现实（AR）技术将多模态反馈应用于现实场景（如机场导览、商场导航）。