Scene2Hap：基于多模态大语言模型从场景上下文生成VR场景级触觉反馈

文献标题

Scene2Hap: Generating Scene-Wide Haptics for VR from Scene Context with Multimodal LLMs

出版信息

• 主题领域: 使用多模态大型语言模型（LLMs）设计沉浸式虚拟现实的触觉反馈。
• 关键词: 触觉反馈, 虚拟现实, 多模态LLMs, 振动触觉反馈, 基于物理的渲染, 语义推断, 振动传播, 沉浸式体验, 用户研究, 场景上下文。

背景与问题

• 问题/挑战: 为虚拟现实场景设计触觉反馈耗时且缺乏可扩展性。现有方法无法充分利用对象的语义信息，也未考虑物理上下文及对象之间的关系。
• 重要性: 触觉反馈能够增强虚拟现实中的沉浸感和真实感，对于创建引人入胜的虚拟环境至关重要。
• 动机与相关工作: 以往关于触觉设计工具和基于机器学习的触觉生成的研究主要集中于单个对象或手动设计，未能解决场景范围的触觉渲染或振动传播问题。Scene2Hap通过利用多模态LLMs和基于物理的建模，自动化大规模触觉设计，克服了这些局限性。

解决方案

• 提出的方法: Scene2Hap是一个以LLM为核心的系统，能够基于语义属性和物理上下文，自动为整个虚拟现实场景设计对象级振动触觉反馈。
• 创新点:
  1. 结合语义推断和基于物理的建模的系统架构，用于可扩展的触觉设计。
  2. 基于LLM的触觉推断，从多模态场景数据中估计对象的语义和材料属性。
  3. 基于物理的触觉渲染，实时模拟振动传播和衰减。
  4. 通过三项用户研究实证验证，证明其在触觉真实感、空间感知和用户体验方面的改进。
• 流程与关键技术:
  • 基于LLM的触觉推断: 提取多模态数据（图像、对象名称、尺寸），并通过链式LLM组件（场景分析器、对象分析器、材料属性估计器、振动描述器）推断语义和物理属性。
  • 音频检索/生成: 使用振动描述检索或生成音频信号，并将其转换为振动触觉信号。
  • 基于物理的触觉渲染: 实时构建接触图，根据材料属性和空间关系建模振动传播和衰减。
  • 实现: 在Unity3D中开发，采用客户端-服务器模型处理LLM（GPT-4o）和音频生成（AudioGen）。

结果

• 具体发现:
  • 基于LLM的触觉推断在估计对象语义、材料属性和振动行为方面表现出高准确性（大多数对象平均评分>4，满分5分）。
  • 基于物理的触觉渲染在可用性（实用性、因果性、一致性、显著性）、材料感和空间感知方面表现出改进，其中衰减传播的评分最高。
  • 端到端管道在完整虚拟现实场景中增强了真实感、沉浸感、存在感和满意度。
• 相较基线的优势:
  • Scene2Hap实现了整个场景的自动化触觉设计，优于手动和单对象方法。
  • 衰减振动传播相比无传播或全传播条件显著提高了空间感知和材料感知。
• 实验/评估:
  • 研究1: 使用人工评分和文献数据对材料属性进行比较，评估LLM推断的准确性。
  • 研究2: 在三个简化的虚拟现实场景中评估振动传播对可用性、材料感和空间感知的影响。
  • 研究3: 在一个包含七个振动源和交互元素的完整虚拟现实场景中调查用户体验。
• 局限性与未来工作:
  • 对象语义有限（振动行为为二元状态）和简化的物理模型。
  • 依赖特定LLM和外部音频检索/生成方法。
  • 未来方向包括更丰富的对象状态、更高保真的物理建模以及更广泛的触觉体验（如纹理、摩擦、符号反馈）。

总结

Scene2Hap提出了一个以LLM为核心的系统，用于虚拟现实中可扩展的触觉设计，结合语义推断和基于物理的建模，为整个场景生成自适应的振动触觉反馈。三项用户研究验证了其在提升真实感、空间感知和用户体验方面的有效性。通过基于场景上下文的自动化触觉渲染，Scene2Hap克服了现有方法的关键局限性，并为虚拟现实设计师提供了实际的优势。未来工作旨在扩展其能力，以实现更丰富和多样化的触觉体验。