(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221078046 6.2 (22)申请日 2022.07.04 (71)申请人 北京理工大 学 地址 100081 北京市海淀区中关村南大街5 号 申请人 北京理工大 学重庆创新中心 (72)发明人 师皓　岳冰莹　陈亮　盛青青　 (74)专利代理 机构 重庆智慧之源知识产权代理 事务所(普通 合伙) 50234 专利代理师 余洪 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/25(2022.01) G06V 10/82(2022.01) G06T 7/73(2017.01)G01S 13/90(2006.01) (54)发明名称 基于知识辅助的SAR图像飞机 检测分类方法 (57)摘要 本发明提供一种基于知识辅助的SAR图像飞 机检测分类方法， 包括： 获取待测大场景的SAR图 像， 提取机场的感兴趣区域， 根据感兴趣区域获 取多个切片， 并输入基于Conv NeXt‑T网络构造的 目标特征提取网络， 获取感兴趣区域的图像特 征； 通过MLP网络构造多模态领域知识特征提取 模型， 并结合领域知识， 得到多模态领域知识特 征； 通过自适应投影将多模态领域知识特征动态 更新到图像特征中， 并进行自注意力增强， 获取 目标特征； 设计无锚框检测头， 通过无锚框检测 头对目标特征中的飞机目标进行位置回归和目 标分类， 获取SAR图像的目标检测分类结果。 本发 明能够有效减轻相似飞机目标分类难度， 提升飞 机目标检测分类的准确度。 权利要求书3页 说明书9页 附图3页 CN 115272748 A 2022.11.01 CN 115272748 A 1.一种基于知识辅助的SAR图像飞机检测分类方法， 其特 征在于， 包括以下步骤： 获取待测大场景的SAR图像， 在检测到所述SAR图像中存在机场时， 提取机场的感兴趣 区域； 将所述机场的感兴趣区域进行切片， 获取多个切片， 根据ConvNeXt ‑T网络构造目标特 征提取网络， 将多个切片输入所述目标 特征提取网络， 获取感兴趣区域的图像特 征； 通过MLP网络构造多模态领域知识特征提取模型， 获取领域知识并输入所述多模态领 域知识特 征提取模型， 得到多模态领域知识特 征； 通过自适应投影的方式， 将多模态领域知识特征动态更新到 图像特征中， 并对更新后 的图像特 征进行自注意力增强操作， 获取 带有领域知识权 重的目标 特征； 设计无锚框检测头， 通过所述无锚框检测头对目标特征中的飞机目标进行位置回归， 并对位置回归后的飞机目标进行分类， 获取SAR图像的目标检测分类结果。 2.根据权利要求1所述的基于知识辅助的SAR图像飞机检测分类方法， 其特征在于， 所 述获取待测大场景的SAR图像， 在检测到所述SAR图像中存在机场时， 提取机场的感兴趣区 域， 具体包括： 获取待测大场景的SAR图像， 检测所述SAR图像中是否存在机场； 若所述SAR图像中不存在机场， 则结束 进程； 若所述SAR图像中存在机场， 则将所述SAR图像携带的地理位置信息， 与实际机场的经 纬度信息库进行比对； 在存在实际机场的经纬度信息覆盖所述地理位置信息时， 认定所述SAR图像中包含机 场区域， 并获取SAR图像中机场的名称和地理位置 。 3.根据权利要求1所述的基于知识辅助的SAR图像飞机检测分类方法， 其特征在于， 所 述将所述机场的感兴趣 区域进行切片， 获取多个切片， 根据ConvNeXt ‑T网络构造目标特征 提取网络， 将多个切片输入所述目标特征提取网络， 获取感兴趣区域的图像特征， 具体包 括： 将所述机场的感兴趣区域分割为1024*1024大小的多个切片； 根据ConvNeXt ‑T网络构造目标特征提取网络， 将所述多个切片输入目标特征提取网 络， 获取感兴趣区域的图像特征， 所述目标特征提取网络包括依次级联的卷积层、 第一LN 层、 第一ConvNeXt  Block模块、 第一下采样层、 第二ConvNeXt  Block模块、 第二下采样层、 第 三ConvNeXt  Block模块、 第三下采样层、 第四ConvNeXt  Block模块、 全局池化层、 第四LN层 和全连接层。 4.根据权利要求1所述的基于知识辅助的SAR图像飞机检测分类方法， 其特征在于， 所 述通过MLP网络构造多模态领域知识特征提取模型， 获取领域知识并输入所述多模态领域 知识特征提取模型， 得到多模态领域知识特 征， 具体包括： 通过MLP网络构造多模态领域知识特 征提取模型； 获取领域知识信息， 所述领域知识信息包括经度、 纬度、 日期、 目标尺寸、 机翼面积、 机 翼后掠角和飞机发动机数量， 将所述领域知识信息标准化为[ ‑1,1]的区间， 并按照通道进 行连接： 权　利　要　求　书 1/3 页 2 CN 115272748 A 2式中， lon、 lat、 date、 l ength、 width、 wingarea、 sweepangle、 numengine分别表示与图像相关 的纬度、 经度、 日期信息、 长度、 宽度、 机翼面积、 机翼后掠角和飞机发动机数量信息， Concat (·)表示通道连接； 表示附加信息的中间编码结果， 将领域知识信息 映射到R16， 为： 根据映射结果， 采用MLP网络获取多模态领域知识特 征ze， 为： ze＝ReLU(L N(f(xe))) 式中， ReLU(·)表示ReLU激活函数， L N(·)表示层归一 化， f(·)表示全连接层。 5.根据权利要求4所述的基于知识辅助的SAR图像飞机检测分类方法， 其特征在于， 所 述通过自适应投影的方式， 将多模态领域知识特征动态更新到图像特征中， 并对更新后的 图像特征进行自注意力增强操作， 获取 带有领域知识权 重的目标 特征， 具体包括： 根据多模态领域知识特 征ze生成动态投影的权 重W： W＝Reshape(f(ze)) 式中， Reshape( ·)表示将一维特 征重构为 二维特征， f(·)表示全连接层； 通过自适应投影的方式， 将所述多模态领域知识特征更新到 图像特征当中， 获取目标 特征， 并对目标 特征进行自注意力增强； 式中， dim表示维度信息， 对于经过Conv NeXt‑T特征提取得到的 图像特征zi和通过MLP提 取到的多模态特 征ze， 用补0的方式将维度di和de进行扩展： 最终维度信息表示 为： dim＝Concat({zi,ze})＝zi′+ze′ 通过跳跃 连接的方式， 将自注意力增强后的目标 特征和图像特 征进行连接。 6.根据权利要求1所述的基于知识辅助的SAR图像飞机检测分类方法， 其特征在于， 所 述设计无锚框检测头， 通过所述无锚框检测头对目标特征中的飞机目标进行位置回归， 具 体包括： 建立一组自适应的特 征点集： 式中， n为卷积核的大小； 采用无锚框检测头的初始卷积层得到特 征图， 并通过第一卷积层产生第一组偏移量； 根据所述第一偏移量对所述特征点集进行更新， 获取每个特征点对应的第一组点集， 其中， 点集的更新通过预测框和真值边界框之 间的左上和右下点距离损失及后续阶段的目 标分类损失驱动； 将所述特征图和第一偏移量通过第二卷积层， 得到第二组偏移量， 通过第二组偏移量 在第一组点 集的基础上进行微调， 得到第二组点 集；权　利　要　求　书 2/3 页 3 CN 115272748 A 3