通过演示学习和混合主动对话实现可扩展的情境感知任务助手

烹饪、机器操作和医疗自我护理等日常任务通常需要情境感知辅助，但由于训练成本高且性能不可预测和不稳定，现有系统难以扩展。本研究提出了PrISM框架，该框架通过演示和对话简化了为用户创建任务助手的过程。首先，我们的跟踪算法能够从单次演示中有效学习步骤的传感器表示。其次，更重要的是，为了解决感知不完善和用户行为不可预测的挑战，我们实现了基于对话的情境适应机制。该对话实时完善系统的理解，从而减少错误响应等错误。通过涉及用户生活中多个日常任务示例的多项研究进行评估，我们的方法展示了改进的步骤跟踪准确性、增强的用户交互和改善的协作感。这些结果有望实现一种可扩展的多模态情境感知助手，有效弥合人类指导与多样化现实世界应用中自适应支持之间的差距。