Mimic：支持机器人远程操作的就地演示录制与复用系统

文献标题

Mimic: In-Situ Recording and Re-Use of Demonstrations to Support Robot Teleoperation

文献信息

• 主题领域: 人机交互（HCI）、机器人远程操作及用户界面设计
• 关键词: 机器人远程操作, 模板化轨迹, 动态运动基元（DMPs）, 人机协作, 用户体验提升, 自动化交互, 模板复用

研究背景与问题

• 问题或挑战:
  • 虽然机器人无法完全自主运行时，远程操控是一个关键控制方法，但存在操控复杂度高、效率低以及操作员需要持续注意环境等问题。
  • 操作杆（joysticks）通常自由度较低，与机器人高自由度的运动需求不匹配。
  • 单纯手动操控难以高效完成复杂的任务序列，尤其在涉及重复任务时。
• 重要性:
  • 减少操作员负担、提高操作效率对于实际场景（如外科手术或工业制造）至关重要。
  • 当前远程机器人技术亟需改进以增强用户体验并结合一定程度的自动化。
• 研究动机与相关工作:
  • 受到“端用户机器人编程（End-User Robot Programming，EUP）”的启发，将语境化的任务轨迹用于模板化重用，可能是解决这些挑战的一种途径。
  • 目前针对远程操控的自动化支持有限，尤其是在用户可定制的任务迁移应用方面存在研究空白。

解决方案

• 提出的方法或解决方案:
  • Mimic系统支持用户录制并保存机器人任务轨迹作为“模板”，提供两种重用方式：
    1. 宏（Macros）：可用按钮触发的参数化模板。
    2. 程序（Programs）：自主运行的一系列模板组合。
  • 系统通过动态运动基元（Dynamic Movement Primitives, DMPs）从单一示例学习轨迹，并可迁移到不同初始和目标位置。
• 创新之处:
  • 用户可在任务执行过程中实时录制轨迹。
  • 支持轨迹的参数化与通用化，使记录的模板适配不同环境情境。
  • 提供用户可以轻松实现切换（例如直接干预机器人当前行为）的机制，融合了手动操作与自动化执行。
• 实施步骤与关键技术:
  1. 用户操作模式:
     • 手动直控模式（Control Mode）：通过游戏控制器操控机器人。
     • 编辑模式（Author Mode）：提供录制、参数化和复用轨迹模板的功能。
  2. 轨迹录制与模板创建:
     • 录制方法：支持自动记录或用户通过启动/停止按钮手动控制。
     • 编辑与保存：通过轨迹分段（自动或手动），并将轨迹赋予“拾取”或“放置”等语义化标签。
  3. 学习与复用轨迹:
     • 使用DMP建模轨迹特性，生成不同起点和终点的轨迹。
     • 执行模板时，提供运动规划算法确保生成的轨迹可被机器人实际执行。
  4. 扩展功能:
     • 提供覆盖机制（用户可干预/暂停当前操作）。
     • 支持由机器人主导与用户协作的任务执行体验。
  5. 关键工具:
     • 模拟实现基于Unity和ROS（机器人操作系统）。
     • 使用YOLOv5进行对象检测，提高对环境的动态感知。

研究成果

• 具体成果:
  • 验证了Mimic在远程操控任务中显著提升了用户效率和体验。
  • 系统允许用户以更快的速度完成任务（如35% - 69%的时间节省），尤其在重复或复杂任务场景中。
  • 实现了用户和机器人之间无缝协作，可根据需要停止自动化执行。
• 优势:
  • 与传统仅手动操控相比，减少了操作员的认知负担。
  • 灵活性高：能适应不同任务需求，并提供丰富的参数化机制。
  • 提供多层次的自动化程度，用户可自由选择适配操作模式。
• 实验与评估结果:
  • 用户测试结果表明，系统在效率、易用性和整体体验方面均优于传统手动操作。
  • 程序（Programs）比宏（Macros）独立性更强，但用户更偏爱宏的灵活性和控制力。
  • 用户指出，程序的执行序列化可能会在出错时传递问题，而宏更多情况下是单次且独立执行，适应性更强。
• 局限性与未来方向:
  • 局限性:
    • 本研究基于仿真环境，未完全反映现实中不确定性（如传感器噪声或物理对象碰撞）。
    • 仅支持基本任务模式（拾取、放置），无法处理涉及更复杂运动的任务。
  • 未来方向:
    • 在现实机器人平台上实施和测试系统，验证在现实场景中的可靠性和实用性。
    • 引入更高级的行为学习模型，例如采样优化或更复杂的DMP变形。
    • 扩展模板类型和任务参数化选项，提升系统灵活性。
    • 合并虚拟现实（VR）交互设备，提高用户对复杂轨迹编辑和记录的精确性和效率。