通过惯性张量连接的形状变化手持控制器的视觉-触觉跨模式形状感知模型

文献标题

Visuo-haptic Crossmodal Shape Perception Model for Shape-Changing Handheld Controllers Bridged by Inertial Tensor

文献信息

• 主题领域: 人机交互，虚拟现实中的多感官形状感知及手持控制器设计
• 关键词: 手持控制器, 感知模型, 虚拟现实, 动态触觉, 形状变化

研究背景与问题

• 问题与挑战:

  • 目前虚拟现实 (VR) 系统中的手持控制器形状通常是固定的，与虚拟对象形状之间的视觉和触觉不一致性可能降低用户的沉浸感。
  • 现有关于动态触觉的研究覆盖有限，并且缺乏可应用于设计的广泛计算感知模型。

• 研究重要性:

  • 动态触觉为手持对象的重量、形状等感知提供了关键体验，但将虚拟和物理特性匹配的能力仍未开发完全。
  • 在VR中提供视觉-触觉一致的多感官体验是实现高度沉浸体验的基础。

• 研究动机与相关工作:

  • 一些研究开始探索“形状改变控制器”以改善VR中的物理互动，但现有方法在模型的通用性和感知一致性方面存在局限。
  • 尚需更精确的感知模型来指导感官匹配，尤其是基于质量分布变量的动态触觉模型。

解决方案

• 方法与核心思想:

  • 提出了基于惯性张量中的主惯性矩 (MOI) 和惯性积 (POI) 的视觉触觉跨模态感知模型。
  • 通过实验探索动态触觉感知中MOI和POI与对象长度、不对称性等属性的关系，从而实现虚拟与物理对象感知的一致性。

• 创新之处:

  • 提出首个支持虚拟对象与物理控制器之间一致感知经验的通用模型。
  • 引入MOI和POI作为桥梁变量，链接视觉感知和触觉感知。
  • 使用逆向模型实现视觉到触觉的对象形状匹配。

• 实施步骤:

  1. 模拟分析:
     • 通过模拟质量分布特性，验证MOI和POI是关键变量，适用于大多数手持控制器形状的表示。
  2. 人类感知实验:
     • 测量MOI对长度感知的阈值与敏感度 (Exp.1)。
     • 测量POI对质量不对称性的感知阈值 (Exp.2)。
  3. 跨模态模型构建:
     • 通过感知匹配实验，建立从触觉到视觉的跨模态形状匹配模型 (Exp.3)，并利用其逆向形式实现虚拟到触觉对象匹配。
  4. 模型验证:
     • 使用真实场景中的用户评价，验证逆向模型对用户体验的改进 (Exp.4)。

研究成果

• 具体成果:

  1. MOI与POI作为关键感知变量:
     • MOI主导长度感知，且具备7%的高感知敏感性 (Weber fraction)。
     • POI显著影响物体的不对称感知。
  2. 跨模态匹配模型:
     • 建立了从物理对象 (MOI, POI) 到虚拟对象的高精度感知模型，并验证了其在动态交互中的有效性。
  3. 逆向模型的用户体验测试:
     • 在虚拟场景中，与虚拟对象视觉信息匹配的物理控制器显著提升了沉浸感、一致性和用户享受。

• 优势:

  • 提供了一种通用计算模型，适用于大多数1D和部分2D形状变化控制器设计。
  • 相较于基于感知错觉的方法提供了更鲁棒和广泛的应用潜力。

• 实验或评估结果:

  • 人类感知实验显示了MOI对长度及POI对不对称感知的高敏感性。
  • 用户实验（Exp.4）显示基于模型匹配的控制器相较于不匹配的控制器提升用户感知体验的得分最高达到78.56分。

• 局限性与未来方向:

  • 当前模型仅覆盖质量分布在半平面上的对象，与全2D或3D分布的形状控制器有一定局限。
  • 未研究MOI与POI相互作用对长度感知的影响。
  • 性别差异（如感知性能）可能也是一个值得进一步探索的方向。