从 gaze 数据学习协作个性化策略

理想的混合现实（MR）系统仅在虚拟信息（例如标签）对用户有用时才显示。然而，判断标签何时有用具有挑战性，取决于当前任务、先前知识、上下文等多种因素。本文提出一种强化学习（RL）方法，根据眼球运动数据学习何时显示或隐藏物体标签。我们通过展示智能代理能够学习比设计启发式方法更能支持用户进行视觉搜索任务的协作策略来证明该方法的有效性。此外，我们展示了该方法在真实环境和用例（例如杂货购物）中的适用性。通过将MR对象标注作为RL控制问题，我们可以通过观察用户行为隐式学习策略，无需采样或任何其他形式的监督。