PrISM-Observer：帮助用户执行日常程序的智能干预代理

视频

DOI

我们日常生活中经常执行包括一系列原子步骤的程序（如烹饪）。单个步骤的意外遗漏或顺序错误可能导致严重后果，尤其是对于认知障碍（如痴呆症）患者。本论文介绍了PrISM-Observer，一款基于智能手表的上下文感知实时干预系统，旨在通过预防错误来支持日常任务。与传统系统需要用户主动寻找信息不同，该代理会观察用户行为并主动干预代理人能够通过多模态传感实时更新对用户行为的信念，并预测最佳干预时机和方法。我们首先通过三个不同复杂度的数据集评估了框架的步骤追踪性能。然后，我们使用智能手表实现了实时代理系统，并进行了烹饪任务场景的用户研究。该系统产生了有用的干预措施，并获得了参与者的积极反馈。PrISM-Observer对日常任务的通用适用性预示着广泛的应用前景，例如为需要更深入干预的用户（如痴呆症患者或术后患者）提供支持。