通过用户辅助扩散增强低资源数据集

DOI

工业环境中的混合现实应用需要广泛而多样的数据集来训练对象检测模型，但实际数据收集可能因物流或成本问题而受到阻碍。本研究探讨了生成式AI方法在混合现实应用中的应用，特别强调装配和拆卸任务。工业环境中发现的新物体很难用文字描述，使得基于文本的模型效果较差。本研究使用扩散模型通过将新物体与各种背景结合来生成图像。背景选择在特定应用中对象检测效果不佳的地方。这种方法能高效地产生多样化的训练样本。我们比较了三种方法：传统增强、基于GAN的增强和基于扩散的增强。结果表明，扩散模型显著改善了检测指标。例如，将扩散模型应用于包含气动缸机械部件的数据集，将F1分数从69.77提高到84.21，mAP@50从76.48提高到88.77，使对象检测性能提高了11%，而数据集大小比传统增强数据集少67%。所提出的图像合成扩散模型和用户友好界面进一步简化了数据集丰富过程，证明了在增强数据和提高检测模型鲁棒性方面的有效性。