用于RL训练机器人表现性用户控制的在线行为修改

强化学习（RL）是机器人学习任务的有效方法。然而，在典型的RL中，机器人在部署后终端用户几乎无法控制机器人完成任务的方式。为解决这一问题，我们引入了在线行为修改的概念——一种用户可在机器人使用RL训练策略自主完成任务时实时控制机器人行为特征的范式。为了展示这种以用户为中心的公式化方法在人机交互中的价值，我们提出了一种基于行为多样性的算法——RL动态可调控制（ACORD），并展示了其在模拟和用户研究中在线行为修改的适用性。在研究中（n=23），用户在机器人自主描绘形状时调整绘画风格。我们将ACORD与RL和共享自主性（SA）进行了比较，表明ACORD提供了用户优选的表达控制水平，与SA相当，但具有自主执行和RL鲁棒性的潜力。