“不，向右”——通过共享自主实现机器人操作的在线语言修正

现代语言引导的人机交互系统需要两个关键组件才能得到广泛应用：适应性和学习效率。不幸的是，现有的学习指令跟随代理的数据驱动方法无法适应，无法整合额外的自然语言监督，而且即使能够做到，也需要数百次演示才能学习简单的策略。在这项工作中，我们通过呈现一个框架来解决这些问题，该框架用于在机器人执行过程中整合和适应自然语言修正——如“向右”或“不，朝向那本书”。为了专注于现有方法样本效率令人望而却步的丰富操作领域，我们采用共享自主范式：与人类和机器人之间的离散轮次切换不同，我们的共享自主范式在人类和机器人之间分配代理权。在我们的方法中，自然语言是学习模型的输入，该模型产生有意义的低维控制空间，人类可用它来引导机器人。每次实时修正都会细化人类的控制空间，使精确的扩展行为得以执行——同时只需少量演示即可学习。我们通过用户研究评估了我们的方法，用户使用Franka Emika Panda机械臂完成复杂的操作任务。与现有的学习基准（涵盖开放循环指令跟随和单轮共享自主）相比，我们表明我们的修正感知方法获得了更高的任务完成率，并且由于其可靠性、精确性和易用性而受到用户主观上的青睐。