一种无人机图像超分辨率重建方法、系统及设备

本发明涉及图像处理，特别是涉及一种无人机图像超分辨率重建方法、系统及设备。

背景技术：

1、低空遥感技术已经在植物表型、道路监测和林业调查等领域展示了广泛的应用前景。然而，大范围航拍通常需要较高的飞行高度，导致地面采样距离(gsd)较粗糙，图像质量缺乏细节。因此，传统的航拍遥感技术存在着图像分辨率与摄影效率之间的取舍问题，难以在大范围内进行精确观测。此外，由于相机传感器及镜头的不同，也导致gsd和特征的变化，使得下游任务模型难以一致的适应于不同数据。传统的图像上采样方法只能增加图像的尺寸，而无法增加有效的信息密度，这进一步限制了精确观测和模型推广应用。

技术实现思路

1、本发明实施例的目的是提供一种无人机图像超分辨率重建方法、系统及设备，实现对低质量图像的细节重建，以提高图像质量和精确度。

2、为实现上述目的，本发明实施例提供了如下方案：

3、一种无人机图像超分辨率重建方法，包括：

4、获取在预设地点、预设方向下的两个高度的航拍图像；所述两个高度的航拍图像包括：第一高度h1以及对应的低分辨率图像ilr，和，第二高度h2以及对应的高分辨率图像ihr；

5、对所述低分辨率图像ilr和高分辨率图像ihr进行相交区域裁剪对齐、上采样所述低分辨率图像ilr、提取同名特征点和求解单应性矩阵，投影变换后得到配准图像；

6、对所述配准图像进行色彩对齐、同步滑窗采样和降采样配准后的低分辨率配准图像mlr，得到标准高空低分辨率-低空高分辨率配对数据集；所述标准高空低分辨率-低空高分辨率配对数据集包括：低分辨率数据和高分辨率数据；

7、以所述低分辨率数据为输入，所述高分辨率数据为输出，采用所述标准高空低分辨率-低空高分辨率配对数据集对深度卷积神经网络模型进行训练，得到训练好的图像超分辨率重建模型；

8、采用所述训练好的图像超分辨率重建模型对所述低分辨率图像ilr进行重构处理，得到超分辨率图像。

9、可选地，所述第一高度h1高于所述第二高度h2；

10、所述预设方向为垂直于水平面的方向；

11、所述航拍图像至少包括：可见光图像，和/或，多光谱图像。

12、可选地，对所述低分辨率图像ilr和高分辨率图像ihr进行相交区域裁剪对齐、上采样所述低分辨率图像ilr、提取同名特征点和求解单应性矩阵，投影变换后得到配准图像，具体包括：

13、根据高度比例h2/h1对所述低分辨率图像ilr进行中心裁剪对齐，得到与所述高分辨率图像ihr的同视角区域的低分辨率图像；

14、将所述同视角区域的低分辨率图像上采样h1/h2倍，得到与所述高分辨率图像ihr相同图像尺寸的上采样后的图像；

15、采用特征提取和匹配算法对所述上采样后的图像进行同名特征点提取、求解单应性矩阵、透视变换对齐图像，得到第二裁剪图像；

16、对所述第二裁剪图像再次进行相交区域裁剪对齐，得到低分辨率配准图像mlr和高分辨率配准图像mhr。

17、可选地，对所述配准图像进行色彩对齐、同步滑窗采样和降采样配准后的低分辨率配准图像mlr，得到标准高空低分辨率-低空高分辨率配对数据集，具体包括：

18、将所述低分辨率配准图像mlr和高分辨率配准图像mhr转换到hsv色彩空间，得到对应的hsv色彩空间图像；所述hsv色彩空间图像包括：低分辨率hsv色彩空间图像和高分辨率hsv色彩空间图像；

19、调整所述低分辨率hsv色彩空间图像对应的hsv直方图，得到与高分辨率配准图像mhr色彩对齐的第二低分辨率配准图像mlr2；

20、对所述第二低分辨率配准图像mlr2和所述高分辨率配准图像mhr分别进行同步滑窗采样，得到标准尺寸的高空低分辨率图块plr和低空高分辨率图块phr；

21、将所述高空低分辨率图块plr进行降采样h2/h1倍，得到标准低分辨率-高分辨率配对数据集lr-hr；

22、将所述标准低分辨率-高分辨率配对数据集lr-hr按照第二预设比例划分为训练集和验证集。

23、可选地，以标准高分辨率配对数据集hr作为训练目标，将训练集中的标准低分辨率配对数据集lr输入到深度卷积神经网络模型进行训练，得到训练好的图像超分辨率重建模型；

24、训练过程中使用一范数距离损失函数||||1判断图像超分辨率重建模型的输出结果与所述训练目标之间的差异l1，计算公式为：

25、

26、其中，f表示深度卷积神经网络模型；

27、训练过程会进行n次迭代，直到所述验证集上的损失函数不再降低。

28、一种无人机图像超分辨率重建系统，包括：

29、图像采集?？?，用于获取在预设地点、预设方向下的两个高度的航拍图像；所述两个高度的航拍图像包括：第一高度h1以及对应的低分辨率图像ilr，和，第二高度h2以及对应的高分辨率图像ihr；

30、配准图像?？?，与所述图像采集?？榱?，用于对所述低分辨率图像ilr和高分辨率图像ihr进行相交区域裁剪对齐、上采样所述低分辨率图像ilr、提取同名特征点和求解单应性矩阵，投影变换后得到配准图像；

31、配对数据集?？?，与所述配准图像?？榱?，用于对所述配准图像进行色彩对齐、同步滑窗采样和降采样配准后的低分辨率配准图像mlr，得到标准高空低分辨率-低空高分辨率配对数据集；所述标准高空低分辨率-低空高分辨率配对数据集包括：低分辨率数据和高分辨率数据；

32、超分辨率图像?？?，与所述配对数据集?？榱?，用于：

33、以所述低分辨率数据为输入，所述高分辨率数据为输出，采用所述标准高空低分辨率-低空高分辨率配对数据集对深度卷积神经网络模型进行训练，得到训练好的图像超分辨率重建模型；

34、采用所述训练好的图像超分辨率重建模型对所述低分辨率图像ilr进行重构处理，得到超分辨率图像。

35、一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的无人机图像超分辨率重建方法。

36、一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被执行时实现所述的无人机图像超分辨率重建方法。

37、在本发明实施例中，一种无人机图像超分辨率重建方法、系统及设备，通过图像对齐、色彩对齐和深度卷积神经网络的训练，能够提高图像的细节清晰度，实现由高空模糊图像向低空清晰图像重构，以及不同传感器图像之间的统一。超分辨率重建方法包括超分辨率建模和推理两个步骤。其中超分辨率建模步骤包括定点航拍、图像对齐、色彩对齐、数据划分和模型训练；推理步骤包括遥感图像超分辨率推理。

38、实现了对低质量图像的细节重建，以提高图像质量和精确度。这将有助于在低空遥感领域实现更精准的观测和分析，为植物表型、道路监测、林业调查等领域提供更丰富的信息和数据支持。

39、一种无人机图像超分辨率重建方法有利用无人机进行定点航拍，结合高精度rtk定位和图像处理算法，实现了快速而准确的图像采集和匹配过程。

40、采用hsv色彩空间的转换和直方图匹配技术，可以有效对抗环境光条件的变化，实现50米高空图像与25米低空图像之间的颜色对应。这种对应关系的建立有助于提高超分辨率结果的保真度。同时，基于ldm隐扩散去噪模型进行超分辨率处理，结合l1距离作为优化目标，可以有效提高图像的清晰度和细节保持能力，从而提高超分辨率结果的质量。