(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211132614.6 (22)申请日 2022.09.17 (71)申请人 海南大学 地址 570100 海南省海口市人民大道58号 (72)发明人 张卫东　仓乃梦　陆锦辉　熊明磊　 史颂华　何伟　苗建明　王元慧　 (74)专利代理 机构 佛山知正知识产权代理事务 所(特殊普通 合伙) 44483 专利代理师 蒋佳玉 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于双注意力机制多源融合的水上目 标检测方法 (57)摘要 本发明涉及一种多源传感器信息融合的目 标检测方法， 具体涉及一种基于双 注意力机制多 源融合的水上目标检测方法， 包括： 构建雷达图 像生成模型和特征提取模 型， 并生成2D注 意力矩 阵； 构建视觉图像特征提取模型， 得到视觉特征 图； 将所述2D注意力矩阵沿视觉特征图所有 通道 重新加权， 生成融合特征图； 将所述融合特征图 输入目标检测网络 FasterRCNN。 本发明可以充分 利用雷达和视觉传感器互补的信息， 提升网络的 精度和目标检测的准确度； 有效解决水上目标在 图像中权重降低以及微小目标检测性能低的问 题。 权利要求书2页 说明书4页 附图1页 CN 115457360 A 2022.12.09 CN 115457360 A 1.一种基于双注意力机制多源融合的水 上目标检测方法， 其特 征在于， 包括如下步骤： 构建雷达图像生成模型和特 征提取模型， 并生成2D注意力矩阵； 构建视觉图像特 征提取模型， 得到 视觉特征图； 将所述2D注意力矩阵沿视 觉特征图所有通道重新加权， 生成融合特 征图； 将所述融合特 征图输入目标检测网络FasterRCN N。 2.根据权利要求1所述的基于双注意力机制多源融合的水上目标检测方法， 其特征在 于， 所述的构建雷达图像生成模型 具体为： 获取雷达和视 觉传感器训练数据， 再把雷达点云映射到前置摄 像头坐标系； 将雷达点云的深度， 纵向速度和横向速度转 化不同R、 G、 B通道的真实像素值； 以雷达点云转换为前置摄像头坐标点为圆心， 按照一定的渲染规则渲染一个实心圆， 得到雷达的训练图像； 通过构建雷达图像特征提取模型来对上述雷达的训练图像进行特征提取并生成对应 的特征图。 3.根据权利要求2所述的基于双注意力机制多源融合的水上目标检测方法， 其特征在 于， 渲染得到的所述 实心圆的半径 为7， 所述的渲 染规则为： 若两个雷达点存在重叠区域， 深 度较小的应占据更多区域。 4.根据权利要求1所述的基于双注意力机制多源融合的水上目标检测方法， 其特征在 于， 所述的构建雷达图像特 征提取模型 具体为： 引入ResNet ‑50的前两个卷积块BasicStem和Block1， 前者用于处理输入的雷达图像； 后者用于 输出特征雷达图像。 5.根据权利要求2所述的基于双注意力机制多源融合的水上目标检测方法， 其特征在 于， Block1仅引入1个残差块， 来改善检测模型的随机梯度下降更新速度。 6.根据权利要求1所述的基于双注意力机制多源融合的水上目标检测方法， 其特征在 于， 所述的生成2D注意力矩阵的具体为： 使用4组具有不同感受野的卷积层来提取空间注意力矩阵， 将雷达 图像的特征图编码 为空间域注意力权 重矩阵； 并将雷达特 征图中的通道数减少到1。 7.根据权利要求1所述的基于双注意力机制多源融合的水上目标检测方法， 其特征在 于， 所述的构建视 觉图像特 征提取模型， 得到 视觉特征图， 具体包括以下步骤： 步骤1， 对原 始视觉图像进行尺寸缩放， 并将缩放后的图输入VG G16特征提取网络； 步骤2， 使用VG G16的卷积模块1提取图像特 征； 步骤3， 在特 征提取网络VG G16每个卷积模块后引入SENet结构； 步骤4， 重复5次步骤2和步骤3， 最终得到第5层SENet结构输出的视 觉特征图。 8.根据权利要求1所述的基于双注意力机制多源融合的水上目标检测方法， 其特征在 于， 将所述2D注意力矩阵沿视 觉特征图所有通道重新加权， 生成融合特 征图， 包括： 采用克罗内克积矩阵运算的加权方法， 将空间注意力矩阵加权到基于SENet的VGG16特 征提取网络得到的新特 征图。 9.根据权利要求1所述的基于双注意力机制多源融合的水上目标检测方法， 其特征在 于， 所述将所述融合特 征图输入目标检测网络FasterRCN N， 包括如下步骤： 步骤1， 将融合特 征图输入到ROI池化层；权　利　要　求　书 1/2 页 2 CN 115457360 A 2步骤2， 将步骤1得到的特 征图连续输入到 两个全连接层； 步骤3， 将全连接层后的结果传递到softmax分类器和边界回归层， 得到分类结果以及 回归后的边界框 。权　利　要　求　书 2/2 页 3 CN 115457360 A 3