AutoChainer：面向笔触输入的自动数据增强

文献标题

AutoChainer: Automatic Data Augmentation for Stroke-based Input

出版信息

• 主题领域: 基于笔画输入的手势识别及相关任务中的自动数据增强。
• 关键词: 数据增强, 基于笔画输入, 手势识别, AutoDA, AutoChainer, 深度学习, 人机交互, 分类准确率, 视觉质量, 定制化。

背景与问题

• 问题/挑战: 基于笔画的手势识别系统由于训练数据有限且高度可变性而面临挑战。现有的数据增强（DA）方法虽然在计算机视觉等领域表现出色，但在基于笔画的数据中尚未得到充分探索。目前的方法如AVC缺乏灵活性，并生成视觉上失真的样本。
• 重要性: 可靠的基于笔画的手势识别系统对于人机交互（HCI）应用至关重要，尤其是在用户提供数据有限的场景中，例如针对运动障碍人士。
• 动机与相关工作: 手势识别领域的研究已从模板匹配转向深度学习（DL）模型，这些模型需要大量标注数据。自动数据增强（AutoDA）方法在图像分类中取得了成功，但尚未在基于笔画的数据中进行测试。现有的基于笔画的DA方法如AVC较为僵化，并针对特定数据集优化，限制了其通用性。

解决方案

• 提出的方法: AutoChainer是一种针对基于笔画数据的无搜索AutoDA方法，通过随机链式增强变换生成多样且可解释的样本。
• 创新点:
  1. 引入AutoChainer，受UniformAugment启发，专为基于笔画的输入设计。
  2. 从分类准确率、执行速度和视觉质量方面评估AutoChainer的不同变体。
  3. 展示AutoChainer在八个不同数据集和多种分类器上的通用性。
  4. 提供任务特定需求的定制选项，例如平衡准确率与速度。
• 流程与关键技术:
  • 从预定义的变换池中随机链式增强变换。
  • 测试不同链长（如AC1, AC1,6）和变换范围（Original和Extended）。
  • 使用多种模型（包括RNNs、Transformers和$Q识别器）在八个数据集上评估性能。
  • 使用Fréchet Inception Distance（FID）和手势热图分析视觉质量。

结果

• 具体发现:
  • AutoChainer的变体显著提高了所有数据集的分类准确率，其中AC5和AC1,6常常优于AVC。
  • 扩展的变换范围比原始范围的准确率更高。
  • AutoChainer生成的样本FID分数低于AVC，表明视觉保真度更高。
• 相较基线的优势:
  • 在8个数据集中的4个上表现优于AVC，在其他数据集上取得了相当的结果。
  • 展现了在不同数据集和模型上的卓越泛化能力。
  • 使用优化预设（如Turbo预设显著减少执行时间）实现更快的执行速度。
• 实验/评估:
  • 在八个数据集上进行分类任务，包括单笔画和多笔画手势、手写字符和签名。
  • 将AutoChainer与AVC、GPSR及优化模型进行比较。
  • 使用FID和手势热图评估视觉质量。
• 局限性与未来工作:
  • 仅限于从现有工作中派生的增强操作；未来研究可探索更多变换。
  • 聚焦于无搜索AutoDA方法；搜索型方法可能带来进一步提升。
  • 未将模型优化与数据增强结合；未来工作可研究这一协同作用。
  • 有潜力探索医学数据增强领域及手势大规模基础模型的应用。

总结

AutoChainer是一种专为基于笔画输入设计的无搜索AutoDA方法，解决了手势识别中训练数据有限的挑战。它提高了分类准确率，增强了视觉质量，并提供任务特定需求的定制化选项。在八个数据集和多种模型上的评估表明，AutoChainer始终优于或匹敌先进方法如AVC。其灵活性和高效性使其成为构建可靠的基于笔画识别系统的重要工具，并在HCI及其他领域具有广泛应用前景。未来工作可探索更多增强技术、模型优化及更广泛的应用领域。