PATCH：分布式多模态系统的非阻塞推理插件框架

深度学习的最新进展表明，多模态推理在自动驾驶、人体健康和生产线监控等任务中特别有用。然而，在分布式物联网系统中部署最先进的多模态模型带来了独特的挑战，因为来自低成本边缘设备的传感器数据在到达云端之前可能会损坏、丢失或延迟。在不同传感器模态的异构数据生成速率、无线网络动态或不可预测的传感器行为存在的情况下，这些问题会被放大，导致延迟增加或推理精度下降，可能影响系统的正常运作，甚至造成人身伤害或车祸等严重后果。在本文中，我们提出了PATCH，一个适应这些复杂场景的推断推理框架。PATCH作为现有多模态模型中的插件模块，能够对这些现成的深度学习模型进行推断推理。PATCH包括：1）一个基于掩码自编码器的跨模态插补模块，利用部分可用的传感器数据来插补缺失数据；2）一个轻量级特征对排序模块，能够以低计算开销有效限制最优插补配置的搜索空间；3）一个数据对齐模块，无需准确时间戳或外部同步机制即可对齐多模态异构数据流。我们在九个流行的多模态模型上使用五个公共数据集和一个自收集数据集实现了PATCH。实验结果表明，与最先进的方法相比，PATCH实现了高达13%的平均精度提升，同时仅使用10%的训练数据，与原始模型重训练成本相比减少了73%的训练开销。