实时从声音转换的语义全身触觉反馈用于虚拟现实游戏

研究背景与问题

• 发现的问题或挑战： 作者指出当前的VR游戏设计中，触觉反馈通常需要专家手动为特定场景设计，这一过程复杂且耗时。现有的自动声音到触觉转换方法，虽然适用于音乐或简单振动模式，但大多忽略了声音事件的语义，并无法提供与上下文相关的全身触觉反馈。此外，通过现有系统实现声音信号到全身触觉效果的实时转换面临高延迟和分类错误等问题。

• 重要性： 触觉反馈可增强VR游戏的沉浸感和游戏体验，特别对于听力障碍用户，它能补充音效提供的信息。实现实时的声音到触觉转换具有可拓展性，并且对现有和未来的VR技术具有显著价值。

• 研究动机与相关工作： 现有研究和商业产品大多基于低通滤波或频率转换技术，仅集中表现声音特性，缺乏对声音语义的深入探讨。尽管一些研究尝试了基于机器学习的选择性声音到触觉转换，但它们往往无法识别语义类别，从而限制了触觉模式的设计能力。

解决方案

• 提出的方法或解决方案： 作者设计了一种面向VR游戏的实时声音到触觉转换系统，使用Long Short-Term Memory (LSTM)神经网络，分类游戏音效（如枪声、爆炸、受击），并为这些声音事件生成符合语义的全身触觉反馈模式。该系统通过触觉套装实时提供沉浸式触觉体验。

• 创新之处：

  1. 语义理解：该系统从声音中提取语义信息，使其能够根据不同场景生成适合的触觉反馈。
  2. 全身触觉反馈：不仅局限于单点振动，而是通过触觉套装提供全身触觉刺激。
  3. 实时性和模块化设计：确保声音解读与触觉输出低延迟，从而实现声音与触觉同步。

• 实施步骤：

  1. 声音分类模块：通过LSTM模型对实时音频流进行分类，识别出需要触觉反馈的事件类别。
  2. 触觉模式生成模块：为不同事件类别设计预定义的触觉强度和模式（如手臂的枪弹后坐感、全身的爆炸震动等）。
  3. 触觉渲染模块：通过处理声音信号生成一个基础触觉信号，结合触觉模式以特定强度作用于多点触觉设备。

• 使用关键技术：

  • 声音分类使用LSTM神经网络，结合滑动窗口技术以捕获短时声学特征。
  • 触觉生成采用基于已有研究的“幻觉感”技术（如穿透感和移动感）。
  • 对声音信号进行频率降阶和低通滤波，匹配触觉感知频带。

研究成果

• 具体成果： 系统性能经过用户研究验证，相较于传统的声音直接映射触觉的方法，能够显著提高用户对游戏的沉浸感、同步感和触觉的情境匹配感。

• 与现有解决方案的优势：

  1. 语义解析增强了触觉反馈的情境相关性，而非简单响应声音能量的触觉。
  2. 通过可穿戴设备提供全身触觉，而非局限于手部或控制器区域。
  3. 系统在语义分类和触觉模式生成的实时性方面达到了同步多感官体验的要求。

• 实验或评估结果：

  • 用户研究显示，与没有语义分类的触觉反馈相比，语义关联准确的触觉效果显著提高了用户对适配性（Adequacy）、一致性（Congruency）和喜好（Preference）的评分。
  • 在没有背景干扰和明显的游戏事件中，分类性能更好，进一步增强了用户体验。

• 局限性与未来方向：

  1. 分类性能与数据集缺乏多样性：不同游戏的声音效特性可能需要更泛化的模型和更大规模的训练数据集。
  2. 分类延迟对用户体验的影响：尽管系统延迟在可接受范围，但在声音高度重叠的场景中，仍可能影响系统表现。
  3. 触觉反馈模式空间探索不足：触觉模式设计仍需进一步扩展，以提供更丰富、更拟真的效果。
  4. 主动游戏生态测试：由于用户中存在VR眩晕问题，研究是在观看模式中进行的，尚需进一步研究探索实际游戏中的触觉效果。

通过该研究，作者展现了语义驱动触觉反馈的强大潜力，为未来的XR交互体验改进奠定了技术基础。