KeySense：基于 LLM 的普通触摸屏十指盲打系统

文献标题

KeySense: LLM-Powered Hands-Down, Ten-Finger Typing on Commodity Touchscreens

发布信息

• 主题领域: 通过纯软件解决方案实现触屏上的符合人体工学且高效的十指输入。
• 关键词: 触屏输入、十指输入、LLM解码、符合人体工学的文本输入、触控事件聚类、合成训练数据、认知窗口、FLAN-T5-small、人机交互、文本输入系统。

背景与问题

• 问题/挑战: 当前的触屏键盘要求用户悬停手指，导致疲劳并阻碍使用熟悉的十指打字运动技能。触屏无法区分有意触控与休息手指的噪声，使得手指放置输入变得模糊不清。
• 重要性: 解决这一问题可以利用用户在物理键盘上的肌肉记忆，实现更快、更舒适且符合人体工学的触屏输入。
• 动机与相关研究: 以往的解决方案依赖于专用硬件（如压力敏感表面、深度摄像头）或简化的软件启发式方法，这些对于普通设备来说并不实用。虽然统计和概率解码器已被探索，但它们未能完全解决由休息手指引起的模糊问题。本文旨在仅使用软件和普通硬件实现手指放置输入。

解决方案

• 提出的方法: KeySense是一种纯软件系统，它结合了触控事件的启发式过滤与经过微调的LLM（FLAN–T5-small），将噪声字母序列解码为目标单词。
• 创新点：
  1. 一个轻量级预解码器，在100毫秒认知窗口内对触控事件进行聚类，并使用基于触达范围的启发式方法选择有意触控。
  2. 一个经过微调的FLAN–T5-small LLM，基于合成的噪声-清洁单词对进行训练，以纠正字母序列。
  3. 在普通、非压力敏感触屏上实现手指放置的十指输入，无需额外硬件。
  4. 首次对被动表面上的手指放置输入行为进行详细表征。
• 流程与关键技术：
  1. 触控事件被聚合到线程中，并基于100毫秒认知窗口分组为集群。
  2. 使用旅行分数启发式方法选择每个集群中最可能的有意触控。
  3. 生成一个噪声-清洁单词对的合成语料库，用于训练FLAN–T5-small LLM进行序列纠正。
  4. 系统将触控输入处理为临时字母序列，并由LLM解码为最终单词。

结果

• 具体发现：
  • 微调的FLAN–T5-small实现了84.8%的Top-1准确率，优于统计基线（75.7%和79.3%）。
  • 在用户研究中，参与者使用KeySense输入速度更快（28.3 WPM vs. 26.2 WPM，p < 0.01），并评价其身体负担较低（NASA-TLX中位数1.5 vs. 4.0）。
  • 解码延迟较低，端到端延迟为110毫秒，远低于感知阈值。
• 相较基线的优势：
  • KeySense的LLM解码器在中长单词上优于贝叶斯和n-gram解码器。
  • 系统无需专用硬件即可实现手指放置输入，与之前的系统相比更具优势。
• 实验/评估：
  • 一项12名参与者的研究将KeySense与传统悬停输入进行了比较，任务为转录任务。
  • 评估指标包括输入速度（WPM）、单词错误率（WER）、纠正错误率（CER）以及主观可用性评分。
  • 使用合成数据和真实触控日志对系统进行训练和评估。
• 局限性与未来工作：
  • 当前实现专注于单词级纠正和英文文本，限制了多词上下文处理以及对词汇外（OOV）单词的处理。
  • 未来工作包括扩展到句子级解码、混合解码器、时间参数个性化以及纵向研究。

总结

KeySense通过结合启发式触控过滤与微调的FLAN–T5-small LLM，提出了一种纯软件解决方案，用于普通触屏上的手指放置十指输入。该系统实现了高解码准确率（84.8% Top-1）和人体工学优势，与传统方法相比输入速度更快且身体负担更小。该系统展示了在触屏上恢复物理键盘运动技能的可行性，无需额外硬件。未来工作旨在增强上下文感知解码、处理OOV单词，并探索混合方法以扩大适用范围。