FingerX：使用可伸缩和可缩回的手指支撑从实物中渲染虚拟对象的触觉形状

文献标题

FingerX: Rendering Haptic Shapes of Virtual Objects Augmented by Real Objects using Extendable and Withdrawable Supports on Fingers

文献信息

• 主题领域: 虚拟现实 (VR) 与增强现实 (AR) 领域中的触觉反馈与形状渲染技术
• 关键词: 触觉反馈, 形状渲染, 可穿戴设备, 虚拟现实, 增强现实, 手部互动, 多模式交互

研究背景与问题

• 问题或挑战:
  1. 现有的触觉反馈设备通常专注于虚拟物体，而无法同时支持用户与真实物体的交互。
  2. 当前设备（如振动装置和机械制动设备）限制了用户手指自由性，难以在虚拟物体与真实物体之间无缝切换。
  3. 当涉及到虚拟物体的形状渲染时，当前方法的反馈质量和交互灵活性依然存在不足。
  4. 用户很难在具备虚拟对象的精确触觉反馈的同时与真实世界物体进行自然交互。
• 重要性:
  1. 随着虚拟现实与增强现实技术的发展，用户越来越倾向于在混合场景中进行交互，即在真实环境中与虚拟对象交互。
  2. 提升用户体验的核心在于触觉反馈的真实性，这有助于提升虚拟与现实之间的交互质量。
• 研究动机:
  1. 努力建立一种能够在真实和虚拟物体之间无缝切换的交互设备。
  2. 打造一种设备，在处理虚拟与真实对象同时存在的场景时，可以独立控制为指尖提供的反馈高度和方向。

解决方案

• 方法或解决方案: 作者提出了一种名为 FingerX 的可穿戴触觉设备，通过在用户手指上安装可伸缩和可收回的支撑装置，实现虚拟形状的“动态渲染”以及与真实和虚拟对象的同时交互。

• 创新之处:

  1. 使用可扩展和可收回的支撑设备（Extenders and Rings），设计解决了同时触摸真实与虚拟物体的体验问题。
  2. 设备可以独立地对每个手指进行高度和方向控制，从而实现更真实的触觉反馈。
  3. 通过扩展装置避免了强制限制手指后部的动作，使用户感到更加自然。
  4. 可切换模式使得设备既能提供触觉反馈，又能允许手指直接接触真实物体。

• 实施步骤与关键技术:

  1. 硬件设计:
     • 设计了包含五级机械剪刀式升降装置的可扩展支撑，并使用微型马达控制高度。
     • 添加了一个环形旋转装置，使支撑装置能够在必要时自动收回。
  2. 软件实现:
     • 手指初始设置在所有扩展器收回的状态。
     • 系统通过追踪手指与虚拟物体之间的距离，计算出所需的扩展高度并驱动设备进行形状渲染。
     • 提供旋转与扩展的同步延迟补救措施，包括视觉动画和声音通知。
  3. 交互场景:
     • 提供三个典型应用场景：触摸虚拟物体；抓握由真实物体增强的虚拟物体；在手中抓握纯虚拟物体。
  4. 用户实验:
     • 形状识别实验：评估用户在没有形状视觉反馈和有视觉反馈下的形状识别能力。
     • VR体验实验：对比 FingerX 与振动反馈方法在虚拟和真实物体交互中的表现。

研究成果

• 具体成果:

  1. 形状识别实验:
     • 无视觉反馈时形状识别率平均为 61.71%；有视觉反馈时识别率提高到 76.59%，尤其是在三种不同交互场景下均表现稳定。
  2. VR体验实验:
     • 用户在 FingerX 的支持下能够清晰感知虚拟物体的形状，并同时与真实物体交互。
     • 相比于振动反馈，FingerX 极大提升了虚拟与真实物体交互时的“真实感”和“可区分性”。

• 优势:

  1. 与现有振动装置相比，FingerX 更能模拟真实触觉，非常适合需要精确触觉反馈的混合场景。
  2. 支撑装置的设计显著提升了与虚拟增强真实物体（如桌子、瓶子等）的交互体验。
  3. 用户无需频繁移除设备即可无缝切换虚拟与真实物体的触觉感知。

• 局限性:

  1. 当前设备的触觉分辨率较低，仅能渲染有限形状，难以精确表现曲面或高复杂度形状。
  2. 设备存在稳定性问题，尤其是在与曲面（如瓶子）接触时容易滑动。
  3. 扩展时的延迟问题（最大约 6300ms）仍需进一步优化，以提升实时性。
  4. 不能有效处理滑动手势的触觉反馈，局限于接触与抓握操作。

• 未来方向:

  1. 引入更高分辨率的触觉渲染技术，提升设备对于复杂形状（如曲面）的表现力。
  2. 加强设备的稳定性，通过更精准的指尖追踪系统及改进材料来优化硬件。
  3. 解决设备体积和响应时间问题，探索更高效的机械和电机设计。
  4. 将 FingerX 应用于增强现实（AR）场景，验证其在不同混合现实环境中的适用性。