BackSwipe：智能手机上的设备背面单词手势交互

文献标题

BackSwipe: Back-of-device Word-Gesture Interaction on Smartphones

文献信息

• 主题领域: 智能手机交互设计与人机交互
• 关键词: 字词输入、命令输入、手势输入、触摸屏、智能手机、用户评估、界面设计、单手交互、后屏交互

研究背景与问题

• 发现的问题或挑战:

  • 智能手机的触摸屏交互模式存在“肥指问题”（fat-finger problem）和屏幕可触达区域受限问题，影响单手使用的便利性。
  • 现有后屏幕交互方法仅限于简单手势（如滑动或点击），未能充分挖掘这种交互模式的潜力。
  • 后屏输入会受到手掌姿势限制和视觉遮挡问题，手势定位准确性较低。

• 重要性:

  • 随着具有后屏显示功能的智能设备（如三星折叠手机）的发展，后屏交互技术变得日益实用。通过扩展后屏交互的能力，尤其是字词和命令输入，可以增强智能手机功能并提升用户体验。

• 研究动机与相关工作:

  • 基于字词手势输入技术（Word-Gesture Typing）已广泛应用于前屏交互，为手势输入的后屏实现奠定了一定基础。
  • 相关研究探索了盲视输入、虚拟键盘布局推测、以及用户自定义手势等技术，但未针对后屏全功能字词输入提供系统性解决方案。

解决方案

• 提出的方法或解决方案:

  • 提出了一种称为“BackSwipe”的输入方法，允许用户通过后屏手势输入字词和命令，支持用户在单手持机的姿势下使用。
  • 设计并实现了后屏字词手势解码算法，可以自动推断虚拟键盘的位置和大小，并动态调整以适配用户的手势尺度。

• 创新之处:

  • 提出了自动推断虚拟键盘布局的动态算法，结合字词手势解码技术以支持后屏交互。
  • 解决了后屏输入的准确性问题，并提供了一种新颖的输入空间和交互方式。
  • BackSwipe避免前屏视觉和交互干扰，提供了一种专用的后屏输入方式。

• 实施步骤与关键技术:

  • 虚拟键盘位置推断: 基于用户输入手势，通过动态时间规整（DTW）算法推断虚拟键盘的中心位置和按键分布。
  • 字词手势解码: 使用语言模型（GPT预训练模型）结合手势数据进行解码，支持连续的字词输入和命令触发。
  • 交互设计: 提供实时建议和切换选择机制，帮助用户校正错误并提高输入效率。

研究成果

• 具体成果:

  • BackSwipe平均命令输入准确率为92%，平均输入速度为5.32秒/命令。
  • 在文本输入任务中，用户平均输入速度为9.58 WPM，部分用户达到18.83 WPM；平均词错误率为11.04%，部分用户最低达到2.85%。

• 与现有解决方案的优势:

  • BackSwipe避免了前屏手势冲突问题，允许用户在观看内容或进行其他交互时进行输入。
  • 提供了一种单手姿势下更自然、更快捷的输入方式，尤其适用于短文本或命令输入。

• 实验或评估结果:

  • 用户实验1: 验证了用户能够在后屏上绘制连续字词手势，并准确回忆Qwerty键盘布局。输入速度达到平均21.9 WPM。
  • 用户实验2（命令输入）:
    • 平均命令输入时间：5.32秒
    • 平均错误率：7.5%
  • 用户实验3（文本输入）:
    • 平均输入速度：9.58 WPM
    • 平均错误率：11.04%
    • 用户反馈：物理和精神负担适中（平均评分分别为5.7和4.9）。

• 局限性与未来方向:

  • 局限性: 用户长时间使用后屏输入模式会产生疲劳，适合短文本或命令输入，不适合长文本任务。
  • 未来方向:
    • 进一步优化解码算法以提高速度与准确性。
    • 探索后屏交互的多功能性，如结合简单手势与文字组合输入。
    • 适配不同手持设备或屏幕设计，提升跨设备通用性。