PREDILECT：基于零样本语言推理的强化学习偏好提取方法

偏好强化学习（RL）已成为机器人学习的新兴领域，人类通过表达对不同状态-动作对序列的偏好在塑造机器人行为方面发挥关键作用。然而，为机器人制定现实策略需要人类对大量查询做出响应。本研究通过扩展每条查询收集的信息（包含偏好和可选文本提示）来解决样本效率挑战。为此，我们利用大型语言模型（LLM）的零样本能力对人类提供的文本进行推理。为适应额外的查询信息，我们重新制定奖励学习目标，包含灵活的高亮信息——即包含相对较高信息量且与预训练LLM零样本处理相关特征的状态-动作对。我们在模拟场景和用户研究中通过分析反馈及其含义证明了本工作的有效性。此外，收集的反馈还可用于训练机器人在模拟社交导航场景中执行符合社会规范的轨迹。