PrISM-Tracker：利用可穿戴传感器和状态转换信息进行多模态过程追踪的框架，支持用户驱动的错误和不确定性处理

用户在执行日常生活程序时通常需要训练和指导，例如烹饪、设置新设备或进行COVID检测。基于手表的人类活动识别（HAR）可以在这些程序中追踪用户的动作。然而，现成的最先进HAR难以应对日常任务中常见的嘈杂数据和表达力不足的动作。本文提出PrISM-Tracker，一个在现有HAR模型基础上增强的过程追踪框架，该框架使用（1）基于图的程序表示和（2）用户交互模块来处理模型不确定性。具体而言，PrISM-Tracker扩展了Viterbi算法，通过利用嵌入时间信息的图表示作为先验，根据时序HAR输出来更新状态概率。此外，该模型识别不确定的时刻或类别，并请求用户指导以提高追踪准确性。我们针对两个程序测试了PrISM-Tracker：工程实验室中的拿铁制作研究和诊所中皮肤癌患者的伤口护理。结果显示，提出的利用转换图追踪步骤的算法的有效性，以及使用模拟人类输入增强性能的功效。这项工作是实现人在循环中的智能系统的第一步，用于在用户执行新的复杂程序任务时提供指导。