文献标题

LipLearner: Customizable Silent Speech Interactions on Mobile Devices

文献信息

• 主题领域: 人机交互与人工智能，特别关注静默语音接口及其移动设备应用
• 关键词: 静默语音接口, 读唇技术, 少样本学习, 可定制化, 移动设备, 特征表征, 在线学习

研究背景与问题

• 核心问题或挑战:

  • 传统语音用户界面（VUIs）存在隐私和社会接受度问题，尤其在公共场景下，如地铁、会议室等。
  • 嘈杂环境或语音障碍限制了语音数据的采集及识别有效性。
  • 传统静默语音接口通常需采集大量样本，训练模型时间长、技术成本高，同时词汇表有限且僵硬，无法充分表达用户需求。

• 研究的重要性:

  • 静默语音接口可以减少隐私风险，提高用户舒适感，与设备无缝交互。
  • 于现有移动设备（如智能手机）中开发低门槛解决方案，可扩展静默语音的实用性场景。

• 研究动机与相关工作:

  • 现有研究虽探讨不同信号采集方法（如电肌图、电容传感器及超声影像等），但基于读唇技术的实现最具设备需求低、信息丰富、适用于广泛场景的优势。
  • 深度学习及对比学习近年来在视觉语音处理领域取得进展，但少样本学习和可定制命令仍是新兴需求。

解决方案

• 方法与创新:

  • 提出基于对比学习（Contrastive Learning）的大规模唇形表征模型，以提升少样本学性能和泛化能力。
  • 数据表征采用公开数据集（LRW）及实际移动场景数据结合，通过数据增强填补影院数据与自然交互环境间的分布差异。
  • 开发移动应用“LipLearner”，提供流式学习、用户自定义命令以及视觉关键词检测。

• 解决方案实施步骤与技术:

  1. 模型预训练：通过对比学习在大量公共唇读数据上预训练指定词汇表。
  2. 少样本微调：使用线性分类器，根据用户数据快速适配新命令，减少需要样本量。
  3. 视觉关键词检测：结合用户自定义唇部动作，用基于余弦相似度的检测算法实现关键字触发与命令分割。
  4. 在线增量学习方案：在用户使用过程中添加样本以动态优化性能，同时使用一键更新模型以确保实时性。

研究成果

• 具体成果:

  • 实验表明，少样本学习框架仅需一至五次数据采集即可达81.7%-98.8%准确率，显著超过传统用户依赖或预定义静默语音系统。
  • 唇读模型表现出较高的环境鲁棒性，能够适应光照差异、用户姿势、手机持握方式等多种因素。
  • 提供基于移动设备的原型系统，支持实时静默语音命令定制及高效学习，符合隐私保护要求。

• 与现有解决方案的对比优势:

  • 新命令录入便利性显著提高，传统方法需训练大量用户数据且重新构建模型，而本研究采用少样本快速微调。
  • 系统于真实环境（如低光、摇晃视频）中的鲁棒性测试表现优于现有解决方案。
  • 用户体验评价显示系统提供极高的可用性、学习性及愉悦感。

• 实验与评估结果:

  • 关键词检测：各命令平均错误率6.75%，通过动态阈值调节及用户反馈较快优化。
  • 用户研究：语言多样性支持（中文、英语、日语等），用户定制命令时表现出较大的灵活性及创造性。
  • 可用性调研：系统满意度量表（SUS）评估得分为84.8分，显示高可接受性。

• 局限性和未来方向:

  • 物理及认知负担：高强度的学习模式可能影响用户体验，未来优化交互设计以减少负担。
  • 低语义抽象：复杂命令需细化注册，加入零样本学习和语言模型将扩展交互级别和语义感知。
  • 硬件适配：当前主要基于智能手机，进一步研究技术向可穿戴设备（例如VR/AR头显）的迁移潜力。

以上信息将为相关研究和项目应用提供指引，同时助益于人机交互领域的发展。