MorsEar：基于耳戴惯性传感器的通用低资源隐蔽消息传递

文献标题

MorsEar: Toward Generalizable Low-Resource Covert Messaging via Earable based Inertial Sensing

出版信息

• 主题领域: 基于耳戴式IMU传感器的隐秘、低资源文本输入，适用于无障碍和受限环境。
• 关键词: 摩尔斯码，耳戴设备，IMU传感，隐秘通信，无障碍，手势识别，符号输入，低资源，实时解码，自适应语法。

背景与问题

• 问题/挑战: 现有的静默或隐秘输入系统受限于对专用硬件的依赖、小词汇量或对噪声和运动的敏感性，通常无法提供稳健、低可见性、语言级别的交互。
• 重要性: 在受限场景（例如嘈杂环境、无障碍需求或紧急情况）中能够可靠且隐秘地进行通信对于隐私、无障碍性和可用性至关重要。
• 动机与相关工作: 之前使用EMG、超声波或IMU传感器的系统探索了隐秘通信，但受限于小词汇量、社交上不自然的输入方式（例如口型输入）或在噪声和运动下的低鲁棒性。本文重新审视摩尔斯码这一通用的低带宽符号系统，并将其扩展到基于耳戴式IMU传感器的连续语言级交互。

解决方案

• 提出的方法: MorsEar，一种实时、仅基于IMU的耳戴系统，将耳部附近的手势映射为摩尔斯码，用于隐秘文本输入。
• 创新点:
  1. 开发了一种基于耳部的摩尔斯语法，包含点、划线、空格、删除和发送的手势。
  2. 基于物理感知的预处理和用户自适应手势识别管道，确保在不同用户和场景中的稳健操作。
  3. 设备端轻量化自动纠错，实现实时隐私保护反馈。
  4. 在现实场景中进行端到端系统验证，参与者包括无障碍用户。
• 流程与关键技术:
  1. 信号预处理：从IMU数据中进行偏差移除、滤波和特征提取。
  2. 手势识别：基于自监督预训练和少样本微调的管道，实现稳健的手势分类。
  3. 节奏自适应语法：符号、字符和单词的滚动缓冲区，带有编辑和发送的控制手势。
  4. 自动纠错：基于前缀树束搜索和摩尔斯码感知错误校正的轻量化设备端语言模型。

结果

• 具体发现:
  • 静默场景：CER 7.3%，WER 12.5% → 7.8%（带自动纠错），8.62 WPM。
  • 咖啡馆场景：WER 15.2% → 10.3%，8.10 WPM。
  • 地铁场景：WER 18.6% → 9.0%，5.20 WPM。
  • 端到端延迟：中位数47 ms，95百分位95 ms。
• 相较基线的优势:
  • 在手势识别方面优于OESense和Sato等（F1：静默场景0.88 vs. 0.76/0.84，咖啡馆场景0.86 vs. 0.77/0.77，地铁场景0.77 vs. 0.61/0.59）。
  • 在WPM方面与受限输入方法（如眼动输入4–12 WPM和单开关扫描2–6 WPM）相当或更优。
• 实验/评估:
  • 24名参与者（包括4名无障碍用户）在静默、咖啡馆和地铁场景中进行了评估。
  • 7天的纵向试验显示性能稳定且学习效果适中（WPM增加1-2）。
  • 在不同设备（AirPods、OmniBuds、自定义原型）和活动（行走、咀嚼、触摸脸部）中测试了鲁棒性。
• 局限性与未来工作:
  • 需要初步熟悉摩尔斯码。
  • 用户间性能差异；需要更广泛的部署以表征长期学习效果。
  • 生态覆盖有限；未来研究应包括更多样化的活动和长期使用。

总结

MorsEar 提出了一种新颖的仅基于IMU的耳戴系统，通过摩尔斯码实现隐秘文本输入。该系统利用基于物理感知的预处理管道、用户自适应手势识别以及设备端带自动纠错的解码，能够在受限场景中实现稳健、低可见性的通信。通过24名参与者在多种场景中的评估，证明了其可行性，CER最低可达7.3%，WPM与其他受限输入方法相当。尽管需要初步熟悉摩尔斯码，该系统作为无障碍和隐私敏感使用场景中的实用补充输入渠道显示出潜力。未来工作将探索更广泛的生态部署和长期学习动态。