虚拟现实中用于到达重定向的模型预测控制方法

文献标题

A Model Predictive Control Approach for Reach Redirection in Virtual Reality

文献信息

• 主题领域: 虚拟现实中的人机交互与控制模型
• 关键词: 虚拟现实, 触觉重定向, 模型预测控制, 优化, 运动控制, 手部轨迹, 感觉与反馈

研究背景与问题

• 作者发现了哪些问题或挑战？

  • 当前的手部重定向算法通常依赖预定义的空间插值方法，难以适应用户的动态环境或个体差异。
  • 现有的手部重定向方法通常未考虑用户的感知与运动控制过程，例如使用“黑箱”式方法来实现手部偏移。
  • 缺乏对空间扭曲如何影响用户运动的底层传感器/运动控制模型的研究。
  • 手动调整重定向方法的体验与效率之间的平衡仍面临挑战。

• 为什么这个问题很重要？

  • 在虚拟现实中，精确模拟用户的手部动态和运动控制感知对于增强虚拟对象的沉浸感和交互体验具有重要意义。
  • 将用户的主观感受、动作舒适性与任务完成效率纳入手部重定向算法中，有助于提高算法的鲁棒性和泛化能力。

• 研究动机与相关工作

  • 作者受到人类传感器与运动控制模型的启发（如 Minimum Jerk 模型和反馈控制原理），希望将基于动态系统的模型引入重定向策略。
  • 通过模型预测控制 (Model Predictive Control, MPC)，可以实时优化用户的虚拟与物理环境之间的映射关系。
  • 当前的一些研究将 MPC 应用于虚拟步态规划和触觉引导，但尚未在手部重定向中广泛探索。

解决方案

• 作者提出了哪些方法或解决方案？

  1. 构建了一个基于 Minimum Jerk (MJ) 模型的反馈控制动态系统，以模拟用户运动中受重定向影响的手部轨迹。
  2. 提出了一个基于模型预测控制 (MPC) 的手部重定向框架，利用该框架实时生成满足重定向目标和感官舒适性约束的最优空间扭曲。
  3. 构建了两种优化目标：
     • 基于目标点的重定向（Endpoint-based Redirection），即让用户的物理手达到特定空间点。
     • 基于路径的重定向（Path-based Redirection），即引导用户的物理手沿特定路径移动。

• 该解决方案的创新之处是什么？

  • 将用户的红外手部偏移建模为视觉反馈估计中的一种“感官偏差”，捕捉传感器-运动控制过程。
  • 通过使用 MPC 实现动态调整的扭曲生成方法，超越线性插值策略。
  • 在重定向目标中加入用户体验（如平滑性和可接受性）的成本函数，更直接地平衡体验与效率。

• 实施步骤是什么？使用了哪些关键技术？

  1. 构建用户手部运动的 MJ 反馈模型，并通过感官偏差模拟视觉重定向。
  2. 设计多维状态空间的动态模型，包括位置、速度、加速度，以及控制输入（红外偏移）。
  3. 基于实时目标（如到达某个点或遵循路径）定义优化目标函数。
  4. 在虚拟现实实验中将 MPC 转化为求解离散优化问题，生成实时的空间扭曲指令。
  5. 将系统实现于 Unity 中，通过可穿戴设备（如 HTC Vive Pro Eye）进行评估。

研究成果

• 取得了哪些具体成果？

  1. 初步模拟验证显示，该模型可以预测用户在受重定向条件下的手部轨迹，误差在感知阈值范围内。
  2. 在实验中，基于 MPC 的端点重定向方法（MPC-E）展现出与传统方法（Haptic Retargeting, HR）类似的性能。
  3. 对于路径重定向，较高权重学习到的 MPC 策略（MPC-P0.1）在平滑性和准确性上表现更好，但未完全优于基线方法（Thin Plate Spline, TPS）。

• 与现有解决方案相比，它有哪些优势？

  • 能够动态适应用户环境的变化（如避让障碍物或目标调整）。
  • 支持自定义优化目标，结合用户的主观感知与任务需要。
  • 提供了一种更通用的框架，可扩展至其他虚拟现实交互任务。

• 实验或评估结果是什么？

  • 在 8 位参与者的两部分虚拟现实交互任务中，作者通过定量的实验对比 MPC 与传统方法的表现：
    • Endpoint Study: MPC-E 的端点误差和重定向可感知性与 HR 无显著差异。
    • Path Study: MPC-P 方法在曲率较低时表现略逊于 TPS，但在曲率较高时展现更好的灵活性。
  • 用户报告表明，路径重定向中 MPC 存在较高的学习成本，TPS 的扭曲更加平滑直观。

• 局限性与未来方向

  1. 实验设计局限:
     • 当前实验中偏移量和配置的范围受限，需要进一步扩展实验条件以全面评估策略。
     • 追加速度-准确性权衡条件下的使用场景分析。
  2. 模型局限:
     • Minimum Jerk 模型的简单性导致未能捕捉多维感觉融合的复杂性。
     • 模型性能需要更细致地考虑用户个体差异和任务动态需求。
  3. 算法优化:
     • MPC 的计算成本与优化问题求解时间仍然是主要限制。
     • 需要进一步调优代价函数权重，增强方案的用户体验与稳定性。
  4. 未来工作方向:
     • 提升感知与运动模型的复杂度，例如引入多感觉通道。
     • 探索更多种类的重定向任务，结合视觉与触觉反馈的优化。