WritingRing：使用单个IMU戒指实现自然手写输入

研究背景与问题

• 挑战与问题: 手写输入是自然高效的交互方式，但使用传统智能戒指实现手写识别存在诸多挑战，包括功耗高、佩戴舒适性差、大量传感器需求，以及在写字时手指和 IMU 的非刚性连接问题。
• 重要性: 解决此问题不仅能够提升手写输入在可穿戴设备上的应用，还可以扩展智能戒指在 IoT、VR/AR 领域的交互能力，开辟更多用户场景。
• 相关工作:
  1. 当前大部分基于智能戒指的输入技术需要额外的外部设备（例如摄像头或电磁标志设备）或多个传感器，与自然、轻便交互的目标相悖。
  2. 基于 IMU 的设备虽能高效跟踪运动，但易受噪声及定位误差影响，尤其是在手写场景中难以实现连续、高精度轨迹重建。
  3. 手写识别的现有方法虽能取得较高的字母或单词识别精度，但通常需要复杂硬件、多用户校准或仅限某些受限交互模式，通过单 IMU 检测的手写技术仍处于早期阶段。

解决方案

• 核心方法或解决方案:

  1. 提出了 WritingRing 系统，利用佩戴在手指底部的单 IMU 戒指进行实时的 2D 手写轨迹重建和识别。
  2. 使用包含输入数据流的改进 LSTM 模型以及 TCN 网络捕获短时间内的运动变化来增强精度。
  3. 提供触碰检测算法来判断指尖接触状态以分割有效手写数据，最终通过 Google IME 软件完成手写内容识别。

• 创新之处:

  1. 开创了基于单 IMU 的实时消耗低且高精度的跨用户手写输入技术。
  2. 通过采集包含 20 名参与者的大规模 IMU 手写数据集并应用新型数据流训练方法，显著提高了模型性能。
  3. 支持用户随意选择手腕姿态并在任意平面上书写，极大地提升了舒适性与灵活性。

• 实施步骤与关键技术:

  1. 数据预处理： 利用姿态估计技术减去加速度计数据中的重力干扰，并进行 IMU 数据与触控板数据的时间同步处理。
  2. 轨迹重建： 应用 TCN 提取短时间运动特征，结合 LSTM 网络预测手指实时速度然后集成成轨迹。
  3. 触碰检测： 基于 ResNet 检测手指是否接触平面以定义手写开始或结束时间。
  4. 单词识别： 输入预测轨迹至标准手写识别软件以完成字母与单词识别。

研究成果

• 具体成果:

  1. 在大规模手写数据集上，实现了平均轨迹误差为 1.63mm 的高精度手写重建。
  2. 实验中字母识别准确率达到 88.7%，单词识别准确率为 68.2%（当词汇表限定为 3000 个单词时为 84.36%）。

• 与现有解决方案的优势:

  1. 相较于需要多个传感器或额外设备的传统智能戒指，WritingRing 使用单 IMU，设计轻便、低功耗，能够提升用户使用舒适性。
  2. 提供了更自然的交互模式，允许用户自由选择手腕姿态或书写位置，并支持无数据校准情况下的跨用户通用性。

• 实验或评估结果:

  1. 在多个用户组的实时字母与单词书写实验中展现了良好的学习效率及用户体验。
  2. 用户评价中，对系统的易用性、舒适性及愿意使用程度给予较高评分。
  3. 测试结果显示，即使在长时间连续书写任务中系统性能仍具有良好稳定性。

• 局限性与未来方向:

  1. 书写时无法处理“i”和“j”等需要多步完成的单字符，未来需要增强空中轨迹预测方法。
  2. 当前的模型支持仅限制在单戒指输入的场景，未来可扩展至支持多个戒指或更复杂的传感器交互。
  3. 针对不同用户手写习惯的个性化校准尚需开发，例如通过少量用户数据实现优化定制。

以上研究不仅为基于 IMU 的手写识别技术提供了新的方向，也推动了智能戒指在多领域的深度应用。