可微神经网络剪枝：实现微控制器上的智能应用

可穿戴、嵌入式和物联网设备是许多普适计算应用的核心，如健身追踪、健康监测、家庭安全和语音助手。随着微控制器（MCU）的不断改进，智能设备能够执行大量传感和数据处理任务，包括机器学习推理，从而提高用户数据隐私性和自主性。神经网络因其在许多任务中的先进预测能力而成为普适计算应用中引人注目的机器学习模型；然而，在MCU上进行设备端推理仍然极其困难。与执行神经网络通常所需相比，存储、内存和计算能力相差数个数量级，这对网络架构施加了严格的结构约束，需要专门的模型压缩方法。本工作提出了一种针对卷积神经网络的可微结构剪枝方法，该方法整合了模型的MCU特定资源使用和参数重要性反馈，以获得高度压缩但准确的模型。与相关的网络剪枝工作相比，由于更好地利用了MCU资源预算，压缩模型更准确；与MCU专用工作相比，压缩模型产生更快。用户只需指定可用的计算资源量，剪枝算法就会在训练期间自动压缩网络以满足这些约束。我们使用基准图像和音频分类任务评估我们的方法，发现它（a）将神经网络的关键资源使用改进高达80倍；（b）几乎无开销甚至缩短了模型训练时间；（c）在更短时间内产生匹配或改进资源使用高达1.4倍的压缩模型，与之前的MCU专用模型压缩方法相比。