使用增强现实视觉提示辅助机器人遥操作中的操纵和抓取

文献标题

Assisting Manipulation and Grasping in Robot Teleoperation with Augmented Reality Visual Cues

文献信息

• 主题领域: 人机交互与增强现实技术应用于机器人遥操作
• 关键词: 人机交互, 视觉提示, 增强现实, 机器人遥操作, 深度感知, 像素覆盖, 工作任务效率

研究背景与问题

• 作者发现的问题或挑战: 在工业机器人遥操作的场景中，由于深度感知和距离估算的不准确性，操作者在完成操作任务时可能效率低下或发生错误。这种问题在协同空间中同样明显，即使操作者和机器人处于同一物理环境中，仍会受到视角固定、空间感知受限等因素的困扰。
• 为什么这个问题很重要: 减少视觉误差和提升操作者完成操作任务的效率，对于制造业精准操控任务至关重要。不准确的操控不仅会影响生产效率，还可能带来设备损耗或安全风险。
• 研究动机与相关工作:
  • 现有方法中使用的摄像头视角切换或基于投影点的增强视野，有助于改善远程遥操控的深度感知问题，但未广泛应用于协同空间中的遥操作场景。
  • 作者受自然的静态视觉提示（例如光影、遮挡等）启发，将增强现实（AR）与机器人遥操作结合，发展了新型视觉提示设计框架。

解决方案

• 方法/解决方案:
  • 两种增强视觉提示设计：
    1. 基础增强视觉提示（Basic Augmented Visual Cues, Basic Cues）：采用物理标记（如颜色地图）和虚拟视觉提示结合，为操作者提供机器人抓取工具与目标位置信息。
    2. 高级增强视觉提示（Advanced Augmented Visual Cues, Advanced Cues）：通过对象姿态识别技术掌握环境中的物体信息，用更加精准的虚拟提示（例如遮挡效果）改善遥操作的精度。
• 创新点:
  • 引入静态视觉提示概念，如模拟自然光影和遮挡，可改善深度感知。
  • 将环境知识（例如对象姿态信息）结合增强现实呈现，提供高度交互性的提示。
• 实施步骤:
  • 开发和展示了一种基于多模态交互的机器人控制界面。
  • 基本提示设计通过物理与虚拟颜色地图指引抓取工具到目标位置。
  • 高级提示设计通过对象识别和虚拟模型遮挡，指示抓取工具的潜在冲突或目标位置。

研究成果

• 具体成果:
  • 两种增强视觉提示在精度方面显著改善操作者的任务表现。
  • 高级增强提示在任务完成时间和错误率上表现优于基础视觉提示和没有提示的条件。
• 对比优势:
  • 与没有视觉提示的条件相比，基础提示提高了操控精度，但高级提示不仅显著提高了精度，还降低了任务时间和错误概率。
• 实验与评估结果:
  • 在准确度（精度）、任务时间、错误率方面，对比三种条件（无提示、基础提示、高级提示）进行了实验评估。
  • 精度方面，基础和高级提示显示出与无提示条件的显著提升。
  • 高级提示在时间和错误率方面具有显著优势。
  • 主观调查数据表明，高级提示在用户感知效能性上表现更好。
• 局限性与未来方向:
  • 局限性：实验任务限制、交互方式固定、增强现实设备（Microsoft Hololens 1）性能限制可能影响结果的普遍适用性。
  • 未来方向：扩展视觉提示功能以支持监测物品掉落、隐藏或部分遮挡的环境改变；探索社会机器人中基于AR的指示手势以改善操作效率和用户体验。

总结

文中提出了通过增强现实视觉提示改善机器人遥操作性能的创新方法，并展示了其在任务精度、时间和操控错误率上的显著提升。在制造业等需要精准操控场景中，这些技术具有广阔的应用潜力。未来研究将继续优化增强现实技术的集成和提示功能，以支持复杂的人机协同任务。