LLM驱动的文本输入解码及智能手机上的灵活输入

研究背景与问题

• 问题与挑战: 本文指出，尽管大型语言模型（LLMs）在各种语言任务中的表现非常出色，但在键盘解码（即将触控输入信号如点击和手势转化为文本）的应用仍有待深入研究。目前的键盘解码方法通常仅支持单一的输入类型（如仅点击或仅手势），无法处理复杂的混合输入（点击与手势结合）。
• 重要性: 混合输入类型的支持对提高移动设备上的文本输入适应性和用户体验至关重要，尤其是对于长单词或复杂短语输入的场景。
• 研究动机与相关工作:
  • 本研究受到现有点击和手势解码器（如SHARK²和统计解码器）的限制所启发，希望开发一种能够同时支持多种输入模式的新型解码器。
  • 之前的工作大多集中于单一输入模式（如纯手势或纯点击），而没有考虑混合输入的复杂性。

解决方案

• 方法与方案:

  • 提出了一种基于LLM（FLAN-T5小型模型）的键盘解码器。
  • 提出了“灵活输入”（Flexible Typing）的方法，允许用户使用纯点击、纯手势、多段手势或点击与手势的混合输入方式灵活地输入文字。

• 创新之处:

  • 支持多样化输入: 提出了一种集成多种输入方法的新解码器，同时支持点击、单个手势、多段手势以及两者结合。
  • 解码鲁棒性: 基于FLAN-T5模型的先进架构，使得解码器在处理复杂输入信号（如混合输入）时具有较高的准确性和鲁棒性。
  • 改进基础设施: 通过大规模真实数据和合成数据对模型进行微调，使得模型既能适应传统任务，也能处理不确定的复杂混合输入。

• 实施步骤:

  1. 模型选择与设计:
     • 使用预训练的FLAN-T5小型语言模型作为基础，因其序列到序列（Seq2Seq）架构适合键盘解码任务。
  2. 输入处理:
     • 将用户输入轨迹（包括点击点和手势路径）转化为等距离的32个点，并映射到键盘上的最接近的字母序列。
     • 为每条输入序列添加指导性前缀以提供上下文，提升模型对任务的理解。
  3. 数据收集与处理:
     • 从现有的真实数据集中提取点击和手势输入。
     • 合成一批新的灵活输入数据，覆盖多段手势和点击-手势混合类型。
  4. 模型微调与训练:
     • 对FLAN-T5模型进行基于混合输入数据的大规模微调，在单一GPU上进行高效训练。
  5. 解码过程:
     • 使用扩展的Beam Search算法生成前四个候选单词。
     • 在实际运行中，首选单词直接显示在键盘输入栏，其余候选单词提供给用户作为建议。

研究成果

• 具体成果:

  • 在多种输入类型上，模型整体表现优异：
    • 手势输入: 模型达到93.1%的Top-1准确率，比通用SHARK²解码器提高近20%。
    • 点击输入: 在真实点击数据集上，与统计解码器性能相当，Top-1准确率为95.4%。
    • 混合输入: 在模拟数据集上的Top-1准确率为88.0%，比SHARK²扩展解码器的72.6%提高了21.2%。
  • 用户研究中，灵活输入获得了正面反馈，用户偏好评分达到5分制中的5分（满分）。

• 优势:

  • 将解码准确率显著提高，尤其是在复杂输入信号（如点击与手势混合输入）场景中表现卓越。
  • 灵活性更强，可满足不同用户的多元输入需求，如长单词及更高速度的输入场景。

• 实验评估结果:

  • 在实际用户场景中，模型的解码错误率（Top-1 WER）显著低于传统SHARK²模型（5.9% vs. 20.7%），在Top-4候选单词中的表现进一步提升。
  • 灵活输入方式在用户研究中得到了强烈支持，35.9%的单词通过手势输入，29%使用点击，29%结合两者。

• 局限性与未来方向:

  • 局限性:
    • 模型仍然依赖静态词典，因此可能对超出词典范围的单词（如密码、专有名词、新词）表现较差。
    • 当前的实现需要用户手动按下空格键确认单词结束，可能影响输入速度。
  • 未来改进方向:
    • 开发动态词典扩展，支持自适应个性化词汇。
    • 探索字符级或手势级编辑方式以提高更精细的编辑能力。
    • 优化云端与本地部署的结合策略，同时评估其他更强大的LLMs（如GPT-4或Llama2）的潜力。

总结

该研究提出的LLM解码器显著提高了传统键盘解码器的性能，并通过灵活输入方法丰富了智能手机上的文本输入体验，为未来键盘输入系统的设计提供了重要的思路和方向。