基于图像跨粒度特征渐进学习融合的锁芯孔识别方法与流程

本发明涉及一种基于图像跨粒度特征渐进学习融合的锁芯孔识别方法。

背景技术：

1、在某些紧急的特殊场合下，必须进行快速的应急开锁，需先对锁芯孔类型进行判别，锁芯孔识别将间接提供锁芯内部结构信息，为实现快速开锁提供重要辅助信息。目前关于锁芯孔识别任务的相关研究相对匮乏，大多数方法采用fasterr-cnn、yolo等目标检测算法对遥感图像小目标、红外图像弱小目标进行检测，但其在锁芯孔识别任务上的识别精度较低，无法满足实际应用场景需求。锁芯孔图像识别属于子类识别问题，可将细粒度图像识别方法应用于应急开锁场景下的锁芯孔识别任务中。当前的细粒度图像识别方法可以分为强监督和弱监督两种，早期的细粒度图像识别方法一般是依赖人工标注部件框来确定鉴别性区域，但由于人工标注成本较高、部分细粒度图像标注受专业性影响，这类基于强监督标签的方法往往难以应用到实际应用场景中。

2、因此，当前大多数先进细粒度图像识别方法的研究重心都趋向于如何在仅使用类别标签的情况下令模型具备定位更具鉴别性局部区域，同时获得优异性能的能力。得益于这类研究的深入，基于定位局部鉴别性区域的弱监督细粒度识别方法取得了许多进展，尽管这些方法取得了优于强监督方法的性能，但大都仅关注于如何找到鉴别性局部区域并进行整个区域的特征提取，忽略了对识别更有益的局部区域中更具鉴别性的某些粒度以及不同粗细粒度信息间的互补关系和协同融合方式。

3、因此，本发明重点关注如何鼓励模型进行鉴别性局部区域定位、学习局部区域中最具鉴别性的粒度特征以及如何以协同方式融合多粒度特征信息，进而提升锁芯孔类型的识别性能。

技术实现思路

1、本发明的目的在于提供一种基于图像跨粒度特征渐进学习融合的锁芯孔识别方法，在骨干网络convnext的基础上引入随机区域混淆?？閞rcm和渐进式训练策略鼓励网络在仅有类别标签的条件下学习鉴别性局部区域中更有益的粒度特征，同时以协同方式实现不同粒度特征间的跨粒度特征融合。另外，引入随机样本交换?？閞ssm和互信道损失函数，在有效导航模型定位全局和局部最具鉴别性的区域的同时，增强锁芯孔图像各粒度特征在模型中层的表征，提升模型泛化性能。最后，构建锁芯孔图像数据集lock-hole，训练得到一个适用于锁芯孔识别任务的模型，该模型可以广泛识别不同类别的锁芯孔，实现应急开锁场景下的锁芯孔精确识别。

2、为实现上述目的，本发明的技术方案是：一种基于图像跨粒度特征渐进学习融合的锁芯孔识别方法，首先使用随机区域混淆?？閞rcm生成不同粒度级别的锁芯孔图像用于训练锁芯孔类型识别模型中骨干网络convnext的不同阶段，其次使用随机样本交换?？閞rsm增强不同粒度锁芯孔图像在锁芯孔类型识别模型中层的表征，然后使用渐进式多粒度训练策略、互信道损失函数进行锁芯孔类型识别模型训练，协同融合跨粒度信息，最后拼接融合多粒度特征并组合分类器，进行锁芯孔类型识别。

3、在本发明一实施例中，所述使用随机区域混淆?？閞rcm生成不同粒度级别的锁芯孔图像的具体实现方式为：

4、根据不同的粒度级别划分参数p，原始锁芯孔图像i3×h×w经过随机区域混淆?？閞rcm被划分成p×p个图像块并通过混淆图像块空间位置关系分别生成三个粒度级别的锁芯孔图像，其中h，w分别表示原始图像的像素高度和宽度。

5、在本发明一实施例中，设渐进式多粒度训练策略训练步骤总数为s，由于在训练的最后阶段还会对原始锁芯孔图像进行全局粗粒度特征学习，则由骨干网络阶段数n可知训练步骤总数s＝n+1，所述使用渐进式多粒度训练策略进行锁芯孔类型识别模型训练的具体步骤如下：

6、(1)首先，根据骨干网络阶段数由随机区域混淆?？閞rcm生成两张粒度级别不同、空间位置信息混淆的锁芯孔图像；

7、(2)s＝1时，使用骨干网络中阶段stage1前的骨干网络对进行特征提取，得到特征向量后，计算骨干网络相应阶段的分类损失loss1，设置较高学习率的优化器对骨干网络中阶段stage1之前的骨干网络权重参数进行更新优化，后续s＝2至s＝n+1时训练步骤同理，增加骨干网络阶段及替换更高粒度级别的图像，随训练步骤数s增加，逐步递减更新优化骨干网络层权重参数的优化器学习率，后一训练步骤的学习率设置为前一训练步骤学习率的二分之一，各骨干网络相应阶段分类器权重参数更新优化的优化器学习率保持不变；

8、(3)最后，s＝n+1时，将原始锁孔图像i3×h×w送进完成步骤(2)训练后的骨干网络进行训练，拼接图像在骨干网络中阶段stagen、阶段stagen+1得到的特征向量即进一步处理该特征向量后送进分类器classifierconcat，实现骨干网络最终分类器的学习，进而实现渐进式多粒度训练策略。

9、在本发明一实施例中，所述使用随机样本交换?？閞rsm增强不同粒度锁芯孔图像在锁芯孔类型识别模型中层的表征的具体实现方式为：

10、给定一个待交换样本xi和同批量重新排序后随机选择的另一个样本xj，随机样本交换操作如下式所示，表示为：

11、

12、其中vmid-level(xi)、vmid-level(xj)表示为样本xi、xj经过中级模型特征提取器后得到的特征向量，⊙表示特征元素的乘法，表示一个用于随机选择交换元素的二元掩码，如下式所示，其通过ρ值来确定交换的特征元素比例：

13、

14、其中，k∈[0,dim(vmid-level(x))-1]表示样本索引，dim函数得到特征元素的元素个数即特征向量维度，x表示未经特征提取器的待训练样本，ρ值作为特征元素待交换比例，取值范围为[0,1]。

15、在本发明一实施例中，所述使用互信道损失函数由特定于通道的鉴别性组件损失函数ldis和多样性组件损失函数ldiv组成，如下式所示：

16、lossmc＝λ×ldis-μ×ldiv

17、因此，整个锁芯孔类型识别模型的损失函数表示为：

18、lossce+mc＝lossce+lossmc

19、lossce表示集合关注全局识别区域和局部区分区域的交叉熵损失函数。

20、相较于现有技术，本发明具有以下有益效果：

21、针对锁芯孔细粒度图像类间差异小、鉴别性特征细微等导致的识别精度低问题，本发明提出了一种基于图像跨粒度特征渐进学习融合的锁芯孔类型识别方法。利用随机区域混淆?？?rrcm)生成不同粒度级别图像，配合渐进式训练策略训练网络不同阶段，增强了模型对细微鉴别性特征的学习能力；利用随机样本交换?？?rssm)进行部分特征元素交换，有效地增强了模型中层表征，提升了模型泛化性和可解释性；利用互信道损失函数进行模型训练，改善了模型对图像全局和局部最具鉴别性区域定位难的问题，进一步提升了识别性能。本发明方法与现有的几种先进细粒度图像识别方法相比，具有较优的鉴别性特征定位学习能力和较高的识别精度，在应急开锁场景下识别不同锁芯孔具有一定的优势，不论是识别精度还是识别速率都取得较好的效果，满足应急开锁场景下的快速、准确锁芯孔识别要求。