(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211207940.9 (22)申请日 2022.09.30 (71)申请人 云南大学 地址 650091 云南省昆明市翠湖北路2号 (72)发明人 章平凡　江倩　金鑫　冯雨婷　 王全力　施盛栋　刘帅　周维　 姚绍文　 (74)专利代理 机构 北京高沃 律师事务所 1 1569 专利代理师 贾瑞华 (51)Int.Cl. G06T 5/50(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/80(2022.01) (54)发明名称 一种遥感图像融合方法、 装置、 电子设备及 存储介质 (57)摘要 本发明公开了一种遥感图像融合方法、 装 置、 电子设备及存储介质， 涉及图像融合技术领 域， 该方法包括： 将全色图像和所述低分辨率多 光谱图像输入至遥感图像融合模 型， 得到高分辨 率多光谱图像； 遥感图像融合模 型包括均含有多 用途自适应感受野的注意力机制层的多级特征 提取模块、 多级特征融合模 块和CMI‑UNet++图像 重构模块。 注意力机制层是根据SA注意力机制和 inception结构确定的。 本发明能够充分利用目 标场景中全色图像和多光谱图像， 有效融合了全 色图像的空间信息和多光谱图像的光谱信息， 得 到一张包含丰富细节信息的融合图像， 提高了融 合图像的分辨 率。 权利要求书4页 说明书14页 附图8页 CN 115456925 A 2022.12.09 CN 115456925 A 1.一种遥感图像融合方法， 其特 征在于， 包括： 获取目标场景的全色图像和低分辨 率多光谱图像； 将所述全色图像和所述低分辨率多光谱图像输入至遥感图像融合模型， 得到遥感重构 图像； 所述遥感重构图像为高分辨 率多光谱图像； 所述遥感图像融合模型包括： 多级特征提取模块， 用于对全色图像和低分辨率多光谱图像分别进行多尺度分解， 得 到多级关于光谱信息的特 征图和多 级关于空间信息的特 征图； 多级特征融合模块， 用于将多级关于光谱信 息的特征图和多级关于空间信 息的特征图 进行融合处 理， 得到多 级融合特 征图； CMI‑UNet++图像重构模块， 用于根据多 级融合特 征图， 得到 遥感重构图像； 其中， 所述多级特征提取模块、 所述多级特征融合模块和所述CMI ‑UNet++图像重构模 块均含有多用途自适应感受野的注意力机制层； 所述注意力机制层是根据SA注意力机制和 inception结构确定的。 2.根据权利要求1所述的一种遥感图像融合方法， 其特征在于， 目标注意力 机制层为多 用途自适应 感受野的注意力机制层； 所述目标注 意力机制层包括融合神经元以及与所述融 合神经元均连接的多个注意力机制神经 元； 其中， 所述注意力机制神经元包括卷积神经元、 通道注意力机制神经元和 空间注意力 机制神经元； 所述卷积神经元用于通过卷积核对输入的特征进行处理， 得到第一亚特征和 第二亚特征； 所述通道注意力机制神经元用于对所述第一亚特征进行处理； 所述空间注意 力机制神经元用于对所述第二亚特征进行 处理； 所述融合神经元用于对处理后的第一亚特 征和第二 亚特征进行融合处 理。 3.根据权利要求2所述的一种遥感图像融合方法， 其特征在于， 所述多级特征提取模块 包括： 多光谱图像特 征提取单元和全色图像特 征提取单元； 所述多光谱图像特征提取单元包括第一特征图提取子单元、 第二特征图提取子单元、 第三特征图提取子单元、 第四特征图提取子单元和第 五特征图提取子单元； 所述第一特征 图提取子单元包括依次连接的卷积层、 归一化层、 激活函数层和目标注意力机制层； 所述目 标注意力机制层为多用途自适应感受野的注意力机制层； 所述第二特征图提取子单元包括 依次连接的卷积层、 归一化层和激活函数层； 所述第三特征图提取子单元包括依 次连接的 卷积层、 归一化层、 激活函数层和目标注意力机制层； 所述第四特征图提取子单元包括依次 连接的卷积层、 归一化层和激活函数层； 所述第 五特征图提取子单元包括依 次连接的卷积 层、 归一化层和激活函数层； 所述全色图像特征提取单元包括第六特征图提取子单元、 第七特征图提取子单元、 第 八特征图提取子单元、 第九特征图提取子单元和第十特征图提取子单元； 所述第六特征图 提取子单元包括依次连接的卷积层、 归一化层、 激活函数层和目标注意力机制层； 所述第七 特征图提取子单元包括依 次连接的卷积层、 归一化层和激活函数层； 所述第八特征图提取 子单元包括依次连接的卷积层、 归一化层、 激活函数层和目标注意力机制层； 所述第九特征 图提取子单元包括依 次连接的卷积层、 归一化层和激活函数层； 所述第十特征图提取子单 元包括依次连接的卷积层、 归一 化层和激活函数层。 4.根据权利要求3所述的一种遥感图像融合方法， 其特征在于， 所述多级特征融合模块权　利　要　求　书 1/4 页 2 CN 115456925 A 2包括第一层特 征融合单 元和第二层特 征融合单 元； 所述第一层特征融合单元包括特征图提取子单元、 第一特征融合子单元、 第二特征融 合子单元、 第三特征融合子单元、 第四特征融合子单元和第五特征融合子单元； 所述第一特 征融合子单元包括依次连接的特征图拼接层、 卷积层、 归一化层和激活函数层； 所述第二特 征融合子单元包括依次连接的特征图拼接层、 卷积层、 归一化层和激活函数层； 所述第三特 征融合子单元包括依次连接的特征图拼接层、 卷积层、 归一化层和激活函数层； 所述第四特 征融合子单元包括依次连接的特征图拼接层、 卷积层、 归一化层和激活函数层； 所述第五特 征融合子单 元包括特 征图拼接层； 所述第二层特征融合单元包括第六特征融合子单元、 第七特征融合子单元、 第八特征 融合子单元、 第九特征融合子单元和第十特征融合子单元； 所述第六特征融合子单元包括 依次连接的卷积层、 特征图拼接层和目标注意力机制层； 所述第七特征融合子单元包括特 征图拼接层； 所述第八特征融合子单元包括依次连接的特征图拼接层和目标注意力机制 层； 所述第九特征融合子单元包括特征图拼接层； 所述第十特征融合子单元包括特征图拼 接层和目标注意力机制层。 5.根据权利要求 4所述的一种遥感图像融合方法， 其特 征在于， 所述特征图提取子单元用于对全色图像和低分辨率多光谱图像进行特征提取， 得到关 于光谱信息的特 征图和关于空间信息的特 征图； 所述第一特征融合子单元用于将所述第一特征图提取子单元输出的特征图和所述第 六特征图提取子单 元输出的特 征图进行融合处 理； 所述第二特征融合子单元用于将所述第二特征图提取子单元输出的特征图和所述第 七特征图提取子单 元输出的特 征图进行融合处 理； 所述第三特征融合子单元用于将所述第三特征图提取子单元输出的特征图和所述第 八特征图提取子单 元输出的特 征图进行融合处 理； 所述第四特征融合子单元用于将所述第四特征图提取子单元输出的特征图和所述第 九特征图提取子单 元输出的特 征图进行融合处 理； 所述第五特征融合子单元用于将所述第五特征图提取子单元输出的特征图和所述第 十特征图提取子单 元输出的特 征图进行拼接处 理； 所述第六特征融合子单元用于所述特征图提取子单元输出的关于光谱信息的特征图 和关于空间信息的特 征图进行融合处 理， 得到第一融合特 征图； 所述第七特征融合子单元用于所述第一特征融合子单元中激活函数层输出的特征图 和所述第二特征融合子单元中特征图拼接层输出的特征图进 行融合处理， 得到第二融合特 征图； 所述第八特征融合子单元用于所述第二特征融合子单元中激活函数层输出的特征图 和所述第三特征融合子单元中特征图拼接层输出的特征图进 行融合处理， 得到第三融合特 征图； 所述第九特征融合子单元用于所述第三特征融合子单元中激活函数层输出的特征图 和所述第四特征融合子单元中特征图拼接层输出的特征图进 行融合处理， 得到第四融合特 征图； 所述第十特征融合子单元用于所述第四特征融合子单元中激活函数层输出的特征图权　利　要　求　书 2/4 页 3 CN 115456925 A 3