操纵额外肢体：在虚拟现实中识别多余多臂的控制策略

研究背景与问题

• 发现的问题或挑战:

  • 使用超额肢体（supernumerary limbs）完成复杂任务是虚拟现实（VR）和机器人研究中的热点。然而，当前大部分控制策略依赖固定映射方法，难以适应动态环境和复杂任务。
  • 缺乏对用户如何协调自身肢体与半自主虚拟超额肢体（VSL）完成任务的研究，尤其在任务复杂度和自主程度增加的情况下。

• 问题的重要性:

  • 研究超额肢体的交互策略有助于开发更高效的人机交互系统，通过增强人类能力来解决更复杂的任务。
  • 对VR环境中虚拟肢体的控制策略的探索，不仅对未来的VR应用有意义，还可以为机器人物理肢体的设计和开发提供参考。

• 研究动机与相关工作:

  • 当前的超额肢体研究大多基于固定映射方法，缺乏灵活性，无法支持动态任务切换。
  • 考虑到半自主系统的潜力，本研究旨在探讨用户在不同自动化程度的虚拟环境中如何采用多样的交互策略。
  • 先前研究显示，基于VR的实验可以作为理解用户身体自我感知与能力增强行为的重要工具。

解决方案

• 方法或解决方案:

  • 使用Wizard-of-Oz方法模拟半自主VSL，并收集用户在基本控制任务与工厂任务中的数据，从而分析用户的交互策略。
  • 探索了低自主性（需要详细交互指令）和高自主性（支持复杂、多步骤任务）的两种控制条件。

• 创新之处:

  • 提出了四种交互指导策略，包括指令、示范、任务委派和对象标注，这些策略有助于随着任务复杂性或系统要求而灵活适配。
  • 通过多层次的方法（如定性访谈和定量评估）揭示如何调整自动化以适应用户需求，从而提高多肢体系统的设计效率。

• 实施步骤与关键技术:

  1. 实验设计：开发基于Unity的VR环境，支持两套Oculus Quest设备模拟用户与操作员的同步交互；通过分区隐藏人类操作员的存在。
  2. 任务设置：包括开关按钮的基本控制任务与“工厂任务”，所有任务要求用户同时使用自己控制的虚拟肢体和由VSL控制的肢体。
  3. 数据采集：通过录音、问卷调查和任务表现（完成时间、错误率等）来收集用户感受与行为数据。
  4. 误差模拟：引入人为操作误差以模拟真实的系统自主性缺陷。

研究成果

• 具体成果:

  • 交互策略：
    • 大多数用户在低自主性条件下更倾向于使用直接控制，而在高自主性环境下选择任务委派。
    • 标签化和动作示范被认为是管理任务的一种高效方式，但需要精确的命令和适应性。
  • 用户体验：
    • 低自主性环境下，用户对虚拟肢体的身体归属感和控制能力的认知更强。
    • 高自主性条件下，用户体验到更高任务效率，却感到对虚拟肢体的掌控和归属感较弱。
  • 性能提升：
    • 高自主性条件下，任务完成时间显著减少，复杂场景下的错误率大幅下降。

• 与现有解决方案的优势:

  • 相较于固定映射方案，本研究的动态控制方式使用户能够更好地应对任务需求的变化。
  • 高自主性环境充分发挥了虚拟多肢体系统的效率，提高了复杂任务中的表现。

• 实验结果:

  • 在基本任务中，高自主性显著缩短了任务完成时间（p < 0.05）。
  • 在工厂任务中，高自主性条件下的错误率更低（p < 0.01），表明其支持复杂任务执行的优势。
  • “Embodiment Questionnaire（身体归属问卷）”结果显示，低自主性条件下用户对虚拟肢体的归属感和控制感更强。

• 局限性与未来方向:

  • 局限性:
    • 实验的自主系统是通过隐藏实际控制的Wizard-of-Oz方法模拟的，与真实自主机器人系统可能存在差异。
    • 样本规模较小（14人）且以具有VR经验的用户为主，其结果未必完全适用于缺乏相关经验的用户。
    • 所有研究均基于VR，虽然有一定的参考意义，但实际的机器人应用需要进一步验证。
  • 未来方向:
    • 研究更多的自动化等级以探索其对多场景、多样任务的影响。
    • 将研究扩展至物理机器人肢体的实际应用场景，尤其是在工业生产和医疗康复中的潜在应用。
    • 探讨对于更大规模、不同文化背景用户群体的通用性和有效性。