HandyCast：通过姿态和触摸传递在移动和空间受限设置中的基于手机的双手输入虚拟现实

文献标题

HandyCast: Phone-based Bimanual Input for Virtual Reality in Mobile and Space-Constrained Settings via Pose-and-Touch Transfer

文献信息

• 主题领域: 虚拟现实（VR）交互技术，空间受限环境中的手机控制器
• 关键词: 虚拟现实, VR输入, 交互技术, 3D控制器, 双手交互, 手机输入, 空间约束, 六自由度跟踪, 增幅映射, SteamVR

研究背景与问题

• 作者发现的问题或挑战:

  1. 当前的VR系统通常设计用于较大空间中的站立交互，要求用户处于障碍物较少的物理环境中，无法满足移动和空间约束场景的需求，例如在车内、公共交通或等待区域进行交互。
  2. 使用标准VR手持控制器可能需要更大的物理范围，不适合狭窄空间。

• 为什么这个问题很重要:

  • 随着VR设备普及，用户需要在移动和空间有限的场景中使用VR设备，为这些场景设计高效的交互方法变得必要。

• 研究动机与相关工作:

  • HandyCast方法旨在通过用户的智能手机实现双手控制，以应对空间受限的挑战。相比传统的VR控制器，本研究设想使用广泛普及的智能手机来减少硬件需求，同时不牺牲交互效果。

解决方案

• 作者提出的方法或解决方案:

  • HandyCast是一种基于智能手机的输入技术，融合手机的位置、方向以及屏幕触控输入，通过“姿态-触控传递函数”实现对两个虚拟手的控制。
  • 提出了6D（3D位置与3D方向）位置跟踪结合2D触控的10自由度输入模式。

• 该解决方案的创新之处:

  1. HandyCast将手机姿态映射到虚拟环境，允许用户通过手机的微小运动和触摸精确控制虚拟手的位置。
  2. 实现了双手交互性，即使使用单一手机。
  3. 系统支持空间约束环境，提供高效交互并减少物理空间需求。
  4. HandyCast是场景无关的，无需额外硬件辅助即可与现有VR应用兼容。

• 实施步骤与关键技术:

  1. 姿态传递（Pose Transfer）:
     • 用户首先通过一个校准点定义手机的基础位置。
     • 将手机从校准点移动的矢量非线性放大映射到虚拟手的位置。
     • 手机方向定义一个3D平面，该平面作为虚拟手操作的基础。
  2. 触控传递（Touch Transfer）:
     • 分割触屏区域，无论是左手或右手的拇指都可独立移动对应虚拟手。
     • 触控输入进行增益加速映射实现远距离精确控制。
  3. 触控存在传递（Touch Presence Transfer）:
     • 通过触控事件触发虚拟手“抓握”和“释放”命令。
  4. 使用SteamVR驱动以支持与现有VR应用集成。

研究成果

• 取得的具体成果:

  1. 性能评估:
     • 在开放空间及空间受限设置下，HandyCast显示出任务完成时间的效率，与经典的双控制器技术（Go-Go）相当或更优。
     • 在空间受限场景下，HandyCast的任务完成时间比改进版Go-Go快22%。
     • 物理运动路径更短，所需物理控制体积显著减少。
  2. 实验结果总结:
     • 第一个用户研究: HandyCast比传统双控制器路径更短，控制空间更小，问卷显示不会损害虚拟手的控制感或体感。
     • 第二个用户研究: 在空间约束设置下，HandyCast明显比Space-Constrained Go-Go更节省时间和空间。
     • 跟踪技术研究: HandyCast使用手机的内向跟踪技术表现出轻微的漂移，但仍可实用。

• 与现有解决方案的优势:

  • HandyCast拥有更低的硬件需求，且在小空间中提供了更高效的交互体验，可轻松适用于移动VR系统。

• 局限性与未来方向:

  1. 内向跟踪存在漂移问题，需要引入动态校准机制以减小累积误差。
  2. 当前设置主要支持简单的双手任务，未来可以探索更多复杂交互任务（如更加精确的手势控制）。
  3. 参数化影响尚未充分研究，关于增幅和触控之间权重分配的优化参数仍需进一步探索。
  4. 可考虑改进触控映射方式以解决触控更新和快速移动的问题。