iFAD手势：使用食指增强设备理解用户的手势输入性能

文献标题

iFAD Gestures: Understanding Users’ Gesture Input Performance with Index-Finger Augmentation Devices

文献信息

• 主题领域: 人机交互、手势输入、可穿戴设备
• 关键词: 指示手指、手指增强设备、分类法、手势输入、手势分析、手势识别

研究背景与问题

• 问题或挑战:

  • 手势输入已经成为移动和可穿戴设备的重要交互方式，但当前主要集中在触摸屏和少量设备上的有限手势类型，而手势的多样性需要更多的研究。
  • 在“手指增强设备”(FADs)的研究中，特别是专注于食指的增强设备(iFADs)，手势的系统性分析较少。
  • 食指在精确握持、触摸和指向动作中具有独特优势，但相关手势的丰富性尚未被全面探索。

• 重要性:

  • 系统研究食指增强设备(iFADs)及其手势，可以为设计和优化用于可穿戴设备的手势交互提供基础。
  • 某些设备具有未充分利用的潜力，例如可以通过食指的高精度和直观动作优化用户体验。

• 研究动机与相关工作:

  • 手势输入可广泛应用于移动设备与可穿戴设备，但需要扩展手势的种类并系统分析不同设备间的差异。
  • 现有文献主要对设备本身和技术有所探讨，而对使用这些设备的手势类型和性能研究不足。

解决方案

• 方法与解决方案:

  1. 提出针对食指增强设备(iFADs)的四级手势分类法，描述以食指为中心的手势种类。
  2. 设计并实施实验，收集和分析带有 iFAD 的手势输入性能数据。
  3. 使用不同的手势识别算法评估 iFAD 手势的性能和准确率。

• 创新之处:

  • 提出的 iFAD 手势分类法综合了手指、手、手臂和全身体尺度的手势，并且技术无关，可应用于多种设备。
  • 首次系统分析了食指增强设备手势的定量表现，包括速度、社会接受度和识别准确率。
  • 开放了唯一一个关于 iFAD 手势的数据集，为后续研究提供了基础。

• 实施步骤和关键技术:

  • 实验设计：通过原型化的低成本 iFAD（内含3轴加速度计）采集手势数据，确保多样性，包括40种手势类型。
  • 数据分析：使用动态时间规整(DTW)、欧几里得距离等算法计算手势的识别准确率。
  • 统计方法：分析生产时间、平均加速度以及用户的主观评价。

研究成果

• 具体成果:

  • iFAD 手势平均生产时间为 1.84 秒，比全身手势快近2倍，与触摸屏上的手势速度相近。
  • 手势的平均难度评分为 1.52（低难度），社会接受度为81%。
  • 使用 DTW 算法对全部40种手势的识别准确率为83.8%；对20种精挑细选的手势，准确率达到97.1%。

• 与现有解决方案相比的优势:

  • 提供了全面且技术无关的手势分类法，解决了现有分类过于特定或缺乏系统性的短板。
  • 实验表明，与其他手势设备相比，iFAD 手势更快、更直观。
  • 提供了一种低成本可实现的手势识别解决方案，适用于快速原型设计。

• 实验或评估结果:

  • 不同类别手势的平均生产时间有所差异，例如手指级手势平均生产时间为 2.09秒，身体级手势则为 1.53秒。
  • 实验中收集了6,369个手势样本的加速度数据，为后续的算法评估奠定了扎实基础。

• 局限性与未来方向:

  • 当前使用的设备为特定形态（类似戒指），未来可以进一步研究其他形式如智能手套、腕带或多指设备。
  • 目前仅使用3轴加速度计，未来可以探索更高精度传感器如9轴IMU。
  • 应在实际应用环境如行走或其他日常活动中测试手势性能。

附加贡献

• 公开了实验数据集及相关代码，支持研究可重复性和扩展性。
• 提供了一套基于食指的理论框架，有助于设计新型手势交互系统及相关设备。