SilentSpeller：使用电腭图实现移动、无需动手、无声的语音文本输入

文献标题

SilentSpeller: Towards mobile, hands-free, silent speech text entry using electropalatography

文献信息

• 主题领域: 人机交互与文本输入技术
• 关键词: 可穿戴计算, 无声语音界面, 文本输入, 触觉传感, 人机交互, 移动技术

研究背景与问题

• 发现的问题与挑战:

  • 声音输入在许多情况下显得不合适，例如隐私需求或社交约束。
  • 现有的无声语音识别技术受到词汇量限制（通常仅支持约100个词汇）和用户必须保持静止等局限性。
  • 少量研究专注于实时输入的测试，而大多方法只限于离线实验，效果可能被过度估计。

• 研究的重要性:

  • 提供给低手指灵活性用户（如患有肌肉萎缩症、多发性硬化等）的替代输入方法。
  • 解决动手限制和社会场合中声控的使用问题，提升输入效率与隐私保护。

• 研究动机与相关工作:

  • 虽然语音输入在便捷性和可学性上有优势，但现有的无声语音识别方法依赖于特定设备，或需要大量训练数据，以及系统对用户间的独立性较差。

解决方案

• 方法与解决方案:

  • 设计了SilentSpeller系统，用户通过无声的拼写字母进行文本输入。
  • 使用名为SmartPalate的牙齿托组成的设备，内嵌124个电容式触摸传感器以监测舌头于硬腭位置的动态。

• 创新之处:

  • 将无声拼写作为无声语音的替代，通过逐字母输入提升识别率及词汇通用性。
  • 支持超过1000个词汇的词典，并兼容用户步行中使用。
  • 提供实时输入体验，并支持移动和挪动场景中的稳定操作。

• 实施步骤与关键技术:

  1. 硬件使用：
     • SmartPalate设备实时采样用户舌头活动，频率达100 Hz。
  2. 数据压缩：
     • 使用主成分分析（PCA）降维减少124个原始传感信号至16个分量（"eigen-palates"）。
  3. 识别模型：
     • 使用隐马尔可夫模型（HMM）进行时序模式匹配，实现从拼写至文本的解码。
  4. 用户训练：
     • 对用户识别器进行训练，通过提供2328个单词及额外107种短语输入数据。
  5. 词典扩展：
     • 支持未见单词的泛化测试，同时允许输入用户常用的专用名词。

研究成果

• 具体成果:

  • 离线单词输入实验中，1164字词汇表识别的平均字符准确率达97%。
  • 遍历训练中数据，约1500个训练单词可以达到最佳学习效果。
  • 测试用户输入未知单词，系统达成94.5%的平均字符识别率；证明系统拥有一定的泛化能力。
  • 步行与静坐的输入场景对准确性几乎无影响（静坐96.5%，步行97.5%）。
  • 实时输入实验中可达37词/分钟，准确率为87%。

• 相较现有解决方案的优势:

  • 较其他无声语音接口更适用于运动中的操作。
  • 用户训练时间成本较低，适用于个性化输入系统。
  • 提供实时输入功能，相较离线测试提升了实践适用性。

• 实验结果:

  • 此系统在多用户对比中，性能表现接近智能手机虚拟键盘的平均输入速度（嵌入式QWERTY为48wpm）。
  • 随着实验进程，用户对SilentSpeller的熟悉度明显增加，呈现连续性能提高趋势。

• 局限性与未来方向:

  • 当前需要用户佩戴特殊硬件（牙齿托），限制其在社交环境中的普及性。
  • 缺乏用户间独立性的训练模型，未来探索基于大数据的用户自适应性改进。
  • 硬件改进方向包括：增加唇部运动捕捉传感器，采用无线通信模块（如蓝牙低功耗），以及优化设备的佩戴舒适度。