一种大幅面遥感影像语义分割方法及系统与流程

本发明涉及遥感影像像处理，尤其涉及一种大幅面遥感影像语义分割方法及系统。

背景技术：

1、遥感卫星影像在经济建设、国防建设和人民日常生活中具有重要作用。在经济建设、国防建设中需要使用遥感卫星影像来制作基础地理信息，这些基础地理信息包含丰富的自然地理、人文地理和社会经济信息,是进行基本建设项目可行性研究的重要资料是基础设施建设的保障。遥感影像语义分割是根据设定的准则对遥感影像中对象进行像素级分类的过程，常见的分割对象包括房屋、道路、植被、车辆等。遥感影像语义分割在城市规划、灾害救助、交通管理以及气候建模等领域发挥着重要作用。

2、遥感影像语义分割主要采用图像语义分割算法，当前主流的遥感影像语义分割算法大多基于深度学习技术，按照网络结构差异可以大致分为基于cnn的图像语义分割网络、基于transformer的图像语义分割网络、混合cnn和transformer的语义分割网络?；谏疃妊暗挠镆宸指钏惴ㄍǔ＠醋约扑慊泳趿煊?，其框架与模型主要针对的是普通影像。与普通影像相比，遥感影像存在分辨率高、幅面大等特点，传统尺寸图像(如256*256)占据的空间范围小，在大型的建筑物和水域等区域包含的信息量较少，分割精度较低。由于gpu内存限制，大尺寸的影像无法直接处理，把高分辨率图像缩小成低分辨率影像进行处理时会丢失细节信息。

技术实现思路

1、针对上述问题中存在的不足之处，本发明提供一种大幅面遥感影像语义分割方法及系统。

2、为实现上述目的，本发明提供一种大幅面遥感影像语义分割方法，包括：

3、获取具有地物标签的遥感影像；

4、将所述遥感影像裁切成多幅带有所述地物标签的图片；

5、对所述图片进行处理后并输入至全局信息提取?？?，获得全局特征图；

6、将所述图片输入至特征编码?？?，获得不同尺度的局部特征图；

7、将所述全局特征和所述局部特征图输入至信息聚合?？?，融合获得融合特征图；

8、将所述融合特征图和所述局部特征图输入信息解码?？?，获得与所述图片分辨率一致的新特征图；

9、将所述新特征图输入轻量级卷积?？?，获得最终的预测图。

10、优选的是，对所述图片进行处理包括将所述图片进行缩放获得小尺寸图片。

11、优选的是，所述全局信息提取?？榘ū嗦肫?、注意力?？楹徒饴肫?；所述编码器为resnet50网络，所述注意力?？榘?2个串联的transformer单元，所述解码器包括卷积上采样块、跳转连接块和高维特征提取块。

12、优选的是，所述全局信息提取?？榈墓轿?/p>

13、xg＝partition(transunet(resize(x)))；

14、式中：x为所述图片；resize为缩放图片操作；transunet为所述全局信息提取?？椴捎玫耐缃峁?；partition为切块操作；xg为所述全局特征图。

15、优选的是，所述特征编码?？槲猺esnet_v2网络，其公式为：

16、

17、式中：为四个不同尺度的局部特征图。

18、优选的是，所述信息解码?？榈墓轿?/p>

19、

20、式中：concat为拼接操作；xgl为融合特征图；transformers为自注意力公式。

21、优选的是，所述transformers为自注意力公式为：

22、

23、式中：分别为查询的特征向量、被查询的特征向量与查询向量的值，dk为q矩阵的大小，softmax为将数据转为(0，1)之间的激活函数。

24、优选的是，所述信息解码?？榧扑愎轿?/p>

25、

26、式中：ypatch为解码后的新特征图；conv_up_concats为多次的卷积\上采样\特征拼接操作。

27、优选的是，所述轻量级卷积?？榈募扑愎轿?/p>

28、y＝conv(union(ypatch))；

29、式中：conv为卷积操作；union为特征拼合操作。

30、本发明还提供了一种大幅面遥感影像语义分割系统，包括：

31、获取?？?，用于获取具有地物标签的遥感影像；

32、裁切?？?，用于将所述遥感影像裁切成多幅带有所述地物标签的图片；

33、全局信息提取?？?，用于对所述图片进行处理后并输入至所述全局信息提取?？?，获得全局特征图；

34、特征编码?？?，用于将所述图片输入至特征编码?？?，获得不同尺度的局部特征图；

35、信息聚合?？?，用于将所述全局特征和所述局部特征图输入至所述信息聚合?？?，融合获得融合特征图；

36、信息解码?？?，用于将所述融合特征图和所述局部特征图输入所述信息解码?？?，获得与所述图片分辨率一致的新特征图；

37、轻量级卷积?？?，用于将所述新特征图输入所述轻量级卷积?？?，获得最终的预测图。

38、与现有技术相比，本发明的有益效果为：

39、本发明分别对图片进行处理获得全局特征图和高分辨率的局部特征图，之后通过聚合?？樘嵘艘８杏跋裼镆宸指畹木?。

技术特征：

1.一种大幅面遥感影像语义分割方法，其特征在于，包括：

2.根据权利要求1所述的大幅面遥感影像语义分割方法，其特征在于，对所述图片进行处理包括将所述图片进行缩放获得小尺寸图片。

3.根据权利要求2所述的大幅面遥感影像语义分割方法，其特征在于，所述全局信息提取?？榘ū嗦肫?、注意力?？楹徒饴肫?；所述编码器为resnet50网络，所述注意力?？榘?2个串联的transformer单元，所述解码器包括卷积上采样块、跳转连接块和高维特征提取块。

4.根据权利要求3所述的大幅面遥感影像语义分割方法，其特征在于，所述全局信息提取?？榈墓轿?/p>

5.根据权利要求4所述的大幅面遥感影像语义分割方法，其特征在于，所述特征编码?？槲猺esnet_v2网络，其公式为：

6.根据权利要求5所述的大幅面遥感影像语义分割方法，其特征在于，所述信息解码?？榈墓轿?/p>

7.根据权利要求6所述的大幅面遥感影像语义分割方法，其特征在于，所述transformers为自注意力公式为：

8.根据权利要求7所述的大幅面遥感影像语义分割方法，其特征在于，所述信息解码?？榧扑愎轿?/p>

9.根据权利要求8所述的大幅面遥感影像语义分割方法，其特征在于，所述轻量级卷积?？榈募扑愎轿?/p>

10.一种大幅面遥感影像语义分割系统，其特征在于，包括：

技术总结
本发明公开了一种大幅面遥感影像语义分割方法及系统，包括获取具有地物标签的遥感影像；将遥感影像裁切成多幅带有地物标签的图片；对图片进行处理后并输入至全局信息提取?？?，获得全局特征图；将图片输入至特征编码?？?，获得不同尺度的局部特征图；将全局特征和局部特征图输入至信息聚合?？?，融合获得融合特征图；将融合特征图和局部特征图输入信息解码?？?，获得与图片分辨率一致的新特征图；将新特征图输入轻量级卷积?？?，获得最终的预测图；本发明分别对图片进行处理获得全局特征图和高分辨率的局部特征图，之后通过聚合?？樘嵘艘８杏跋裼镆宸指畹木?。

技术研发人员：王珊珊,郑向向,李天祺
受?；さ募际跏褂谜撸?/b>中国自然资源航空物探遥感中心
技术研发日：
技术公布日：2024/4/24