迈向无干扰物理人工智能：通过智能和机器人运动增强日常物品以实现主动协助

用户持续与物理物品（通常是静止的）互动。想象一下，如果熟悉的物品能够主动协助用户，例如订书机在桌面上移动帮助用户整理文件，或者当用户注意力不集中靠在台面上时，刀子移开以防止受伤。本文基于实体交互的特性，专注于识别日常任务中的用户需求，以实现普适且无干扰的实体交互。为实现这一目标，我们引入了一种利用大语言模型（LLM）感知用户环境和活动、执行时空推理、并生成符合推断用户意图和物体属性的物体动作的架构。我们通过多个物品和各种日常场景展示了系统提供主动协助的实用性。为评估系统组件，我们将系统生成的用户目标估计和物体动作推荐输出与人工标注的基准进行对比，结果表明一致性良好。