EchoGuide：基于主动声学引导的LLM自我中心视频饮食事件分析

自我录制饮食行为是许多健康专业人士推荐的健康生活方式的一步。然而，目前使用纸质记录或智能手机应用程序手动记录饮食活动的做法通常不可持续且不准确。智能眼镜已成为追踪饮食行为的热门可穿戴形态因素，但现有系统主要识别何时进食，而无法捕捉饮食活动的细节（例如吃了什么）。本文提出了EchoGuide，这是一个利用低功耗主动声学传感引导头戴式摄像头捕捉自我中心视频的应用程序和系统流程，能够对饮食活动进行高效和详细的分析。EchoGuide通过结合主动声学传感进行饮食检测、视频标注模型和大型语言模型进行检索增强，智能地剪辑和分析视频，以创建简洁、相关的饮食活动记录。我们在涉及饮食活动的自然环境中对9名参与者进行了EchoGuide评估，展示了高质量的摘要和显著减少的视频数据需求，为实际、可扩展的饮食活动追踪铺平了道路。