EchoScriptor：通过基于活动的音频-语言模型实现自动生活日志叙事

文献标题

EchoScriptor: Automatic Lifelogging Narratives via Activity-Based Audio–Language Model

出版信息

• 主题领域: 基于音频的生活日志记录与叙事生成
• 关键词: 生活日志记录, 音频-语言模型, 人类活动识别, 叙事摘要, 记忆支持, 辅助技术, 个人信息学, 隐私, 实时部署, 多模态感知

背景与问题

• 问题/挑战: 现有的生活日志记录系统通常依赖于孤立的事件标签或碎片化数据，缺乏叙事连贯性和上下文丰富性，难以有效支持记忆和个人信息学。基于音频的系统面临噪声、隐私问题以及表达能力有限等挑战。
• 重要性: 生活日志记录在记忆康复、个人信息学和辅助技术中具有实际应用价值，尤其对记忆障碍或与衰老相关的状况患者尤为重要。一个基于叙事的、非侵入性的系统可以显著提升可用性和有效性。
• 动机与相关工作: 先前在基于音频的人类活动识别（HAR）和生活日志记录领域的研究主要集中于分类或多模态方法，通常需要手动输入或生成分散的输出。目前尚无系统能够生成连贯的、仅基于音频的自然语言叙事，优化用于生活日志记录的用户中心、上下文感知解决方案仍存在空白。

解决方案

• 提出的方法: EchoScriptor 是一个音频-语言系统，可将原始家庭音频转换为捕捉人类活动和声学上下文的自然语言叙事。
• 创新点:
  1. 开发了 EchoLLM，一个用于生成瞬时活动描述的大型音频-语言模型。
  2. 引入了叙事构建流水线，用于生成连贯、可读性强的摘要。
  3. 创建了首个大规模家庭活动音频描述数据集，支持稳健的训练和评估。
  4. 通过用户研究和基于网络的部署展示了实际应用的可行性。
• 流程与关键技术:
  1. 阶段1: EchoLLM 使用音频频谱图转换器（AST）、模态适配器和微调的 LLaMA 语言模型，将原始音频处理为瞬时描述。
  2. 阶段2: 叙事构建流水线通过语义过滤、时间聚合和自然语言重写优化这些描述。
  3. 在包含199,800个音频片段的合成数据集和真实世界录音上进行评估，指标包括准确率、F1分数和语义相似性。

结果

• 具体发现:
  • 在合成数据集上实现了94.15%的活动识别率和89.25%的背景识别率。
  • 叙事摘要的F1分数达到0.92，优于AST+LLM+GPT基线。
  • 在真实世界录音中实现了88.53%的活动识别准确率。
• 相较基线的优势:
  • EchoScriptor 在活动准确率（+7.43%）、背景准确率（+5.32%）和整体语义质量（+20.56%）方面优于AST+LLM+GPT基线。
  • 生成的摘要被评为比基线输出更清晰、更可信且更有用，接近人工撰写的描述。
• 实验/评估:
  • 合成数据集: 包含199,800个音频片段，涵盖24种活动和8种背景上下文。
  • 真实世界验证: 来自3名参与者的15-20分钟自然家庭环境录音。
  • 用户研究: 20名参与者对10段录音的摘要进行评估，比较EchoScriptor、基线和人工撰写的输出。
• 局限性与未来工作:
  • 存在残留的摘要错误以及对重叠事件的处理有限。
  • 固定的10秒音频分段限制了时间连续性。
  • 从在线来源合成的数据集可能无法完全反映真实世界的声学多样性。
  • 未来方向包括增强鲁棒性、扩展至多模态感知以及解决隐私问题。

总结

EchoScriptor 是一个音频-语言系统，可从原始家庭音频生成连贯、上下文感知的叙事，填补了现有生活日志记录技术的空白。它结合了用于瞬时描述的 EchoLLM 模型和用于生成可读性摘要的叙事构建流水线。在大规模合成数据集和真实世界录音上的评估显示了其高准确性和用户评价的实用性，优于基线系统。尽管在处理复杂声学场景和确保隐私方面仍存在局限性，EchoScriptor 代表了向实用生活日志记录应用迈出的重要一步，具有记忆支持、个人信息学和辅助技术的潜力。