(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211155635.X (22)申请日 2022.09.22 (71)申请人 中国长城科技 集团股份有限公司 地址 518000 广东省深圳市南 山区科技园 长城计算机大厦 (72)发明人 刘全仲　李良群　吴镇生　杜晓飞　 吴燕琴　 (74)专利代理 机构 深圳中一联合知识产权代理 有限公司 4 4414 专利代理师 姚泽鑫 (51)Int.Cl. G06V 10/82(2022.01) G06V 20/54(2022.01) G06V 10/42(2022.01) G06V 10/80(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于神经网络的目标检测方法、 装置及终端 设备 (57)摘要 本申请适用于图像处理领域， 提供了一种基 于神经网络的目标检测方法、 装置及终端设备， 神经网络中包含依次连接的多个特征提取模块， 每一特征提取模块中包含执行图像特征压缩与 激发处理操作的目标支路， 该方法包括： 将待检 测图像输入神经网络； 获取依次连接的M个特征 提取模块分别输出的中间图像处理结果， 基于将 M个中间图像处理结果进行特征融合得到的融合 图像， 获取待检测图像中面积小于阈值的图像内 容的第一检测结果； 获取在M个特征提取模块连 接顺序之后的N个特征提取模块最后输出的目标 图像处理结果， 基于目标图像处理结果， 获取面 积大于等于阈值的图像内容的第二检测结果。 本 申请可以同时对大目标和小目标进行检测。 权利要求书2页 说明书15页 附图7页 CN 115482451 A 2022.12.16 CN 115482451 A 1.一种基于神经网络的目标检测方法， 其特征在于， 所述神经网络中包含依次连接的 多个特征提取模块， 每一所述特征提取模块中包含目标支路， 所述 目标支路执行图像特征 的压缩与激发处 理操作， 所述方法包括： 将待检测图像输入至所述神经网络， 获取所述神经网络中依次连接的M个所述特征提 取模块分别输出 的中间图像处理结果， 及获取所述神经网络中在所述M个所述特征提取模 块的连接顺序之后的N个所述特征提取模块依序进行图像处理后得到的目标图像处理结 果； M和N均为 正整数； 将M个所述特征提取模块分别输出的所述中间图像处理结果进行特征融合， 得到融合 图像， 并基于所述融合图像对所述待检测图像中面积小于阈值的图像内容进行检测， 得到 第一检测结果； 基于所述目标图像处理结果， 对所述待检测图像中面积大于等于所述阈值的图像 内容 进行检测， 得到第二检测结果。 2.如权利要求1所述的方法， 其特征在于， 所述N个所述特征提取模块的输入端并联有 第一辅助特征提取模块， 输出端并联有第二辅助特征提取模块， 所述第一辅助特征提取模 块和所述第二辅助特征提取模块用于进行全局特征的提取， 所述 获取所述神经网络中在所 述M个所述特征提取模块的连接顺序之后的N个所述特征提取模块依序进行图像处理后得 到的目标图像处 理结果， 包括： 基于所述第 一辅助特征提取模块对第M个所述特征提取模块输出的所述目标中间图像 处理结果进行 特征提取得到第一 提取结果； 将所述第一提取结果与所述目标中间图像处理结果进行特征融合， 得到第 一融合图像 处理结果； 获取N个所述特征提取模块对所述第 一融合图像处理结果依序进行图像处理后输出的 第一输出 结果； 基于所述第一 提取结果， 确定所述第二辅助特 征提取模块的输入数据； 获取所述第二辅助特 征提取模块对所述输入数据进行 特征提取得到的第二 提取结果； 将所述第二提取结果与所述第一输出结果进行特征融合， 得到所述目标图像处理结 果。 3.如权利要求2所述的方法， 其特 征在于， 所述第一辅助特征提取模块和所述第二辅助特征提取模块中均包含有依次连接的辅 助卷积单元、 通道注意力单元及空间注意力单元； 其中， 所述第一辅助特征提取模块包含的 所述辅助卷积单元对应的卷积核尺寸大于所述第二辅助特征提取模块包含的所述辅助卷 积单元对应的卷积核尺寸。 4.如权利要求2所述的方法， 其特 征在于， 所述第一辅助特征提取模块和所述第二辅助特征提取模块中均包含有依次连接的目 标辅助卷积单元、 通道注意力单元及空间注意力单元； 所述 目标辅助卷积单元中包含并联 的第一辅助卷积单 元和第二辅助卷积单 元； 其中， 所述第 一辅助特征提取模块包含的所述第 一辅助卷积单元对应的卷积核尺寸大 于所述第二辅助特征提取模块包含的所述第一辅助卷积单元对应的卷积核尺寸， 所述第一 辅助特征提取模块包含的所述第二辅助卷积单元对应的卷积核尺寸大于所述第二辅助特权　利　要　求　书 1/2 页 2 CN 115482451 A 2征提取模块包 含的所述第二辅助卷积单 元对应的卷积核尺寸。 5.如权利要求1所述的方法， 其特征在于， 所述特征提取模块通过所述目标支路对所述 待检测图像进行下采样处理， 在所述获取所述神经网络中依 次连接的M个所述特征提取模 块分别输出的中间图像处 理结果之前， 还 包括： 从所述神经网络包含的所述特征提取模块中选取下采样倍数为设定值的M个所述特征 提取模块。 6.如权利要求1所述的方法， 其特征在于， 所述特征提取模块中还包含与所述目标支路 并联的卷积支路， 所述卷积支路用于执行图像卷积操作， 其中， 所述目标支路中包含依次连 接的SE单元、 池化单元和第一卷积单元， 所述卷积支路中包含至少一个第二卷积单元， 所述 特征提取模块输出 的所述中间图像处理结果为所述目标支路与所述卷积支路的图像处理 结果进行 特征融合后得到 。 7.如权利要求1所述的方法， 其特 征在于， 在得到第二检测结果之后， 所述方法还 包括： 基于所述第一检测结果， 获取所述待检测图像中面积小于阈值的第一图像内容， 从所 述第一图像内容中， 筛 选面积小于第一 面积阈值的第三图像内容； 和/或， 基于所述第二检测结果， 获取所述待检测图像中面积小于阈值的第二图像内 容， 从所述第二图像内容中， 筛 选面积小于第二 面积阈值的第三图像内容； 将所述第三图像内容填充至所述待检测图像中的背景区域， 得到增强图像； 所述背景 区域为不包含所述第一图像内容和所述第二图像内容的区域； 基于所述增强图像， 获取目标训练样本集， 所述目标训练样本集为基于所述增强图像 对所述待检测图像所在的初始训练样本集进 行图像更新得到； 所述目标训练样本集用于对 所述神经网络进 行模型迭代训练， 或者所述目标训练样本集用于对其他神经网络进行模型 训练。 8.一种基于神经网络的目标检测装置， 其特征在于， 所述神经网络中包含依次连接的 多个特征提取模块， 每一所述特征提取模块中包含目标支路， 所述 目标支路执行图像特征 的压缩与激发处 理操作， 所述装置包括： 结果获取模块， 用于将待检测图像输入至所述神经网络， 获取所述神经网络中依次连 接的M个所述特征提取模块分别输出的中间图像处理结果， 及获取所述神经网络中在所述M 个所述特征提取模块的连接顺序之后的N个所述特征提取模块依序进 行图像处理后得到的 目标图像处 理结果； M和N均为 正整数； 第一检测模块， 用于将M个所述特征提取模块分别输出的所述中间图像处理结果进行 特征融合， 得到融合图像， 并基于所述融合图像对所述待检测图像中面积小于阈值的图像 内容进行检测， 得到第一检测结果； 第二检测模块， 用于基于所述目标图像处理结果， 对所述待检测图像中面积大于等于 所述阈值的图像内容进行检测， 得到第二检测结果。 9.一种终端设备， 包括存储器、 处理器以及存储在所述存储器中并可在所述处理器上 运行的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求1至7 任一项所述的方法。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 所述计算机程序被处 理器执行时实现如权利要求1至7任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115482451 A 3