偏好条件化语言引导的抽象

从演示中学习是用户教学机器人的常见范式，但容易受到虚假特征相关性的影响。最近的研究从语言构建状态抽象，即只包含任务相关特征的视觉表示，以此进行更可泛化的学习。然而，这些抽象也依赖于用户对任务中什么重要的偏好，而这些偏好可能难以描述或仅用语言无法详尽指定。我们如何构建能够捕捉这些潜在偏好的抽象？我们观察到，人类的行为揭示了他们如何看待世界。我们的关键见解是人类行为的差异告诉我们人类对世界看法的偏好存在差异，即他们的状态抽象。在本工作中，我们提出使用语言模型（LM）直接查询这些偏好，因为已知行为已发生变化。在我们的框架中，我们以两种方式使用LM：首先，给定任务的文本描述和状态间行为变化的知识，我们查询LM以获得可能的隐藏偏好；其次，给定最可能的偏好，我们查询LM以构建状态抽象。在这个框架中，LM还能够在其估计不确定时主动获取人类偏好。我们通过模拟实验、用户研究以及在真正的Spot机器人上执行移动操作任务展示了我们的框架构建有效偏好条件化抽象的能力。