(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211300719.8 (22)申请日 2022.10.24 (71)申请人 上海工程 技术大学 地址 201620 上海市松江区龙腾路3 33号 (72)发明人 万卫兵　任迈宇　禹泽栋　胡继米　 姜晓燕　方志军　 (74)专利代理 机构 上海伯瑞杰知识产权代理有 限公司 312 27 专利代理师 谭强 (51)Int.Cl. G01S 13/86(2006.01) G01S 13/88(2006.01) G01S 7/41(2006.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于多传感器融合的机场跑道异物检 测方法及系统 (57)摘要 本发明提供一种基于多传感器融合的机场 跑道异物检测方法及系统， 该方法包括以下步 骤： 步骤1、 获取FOD的雷达信息， 计算出FOD的方 位与距离； 步骤2、 根据步骤1计算出的FOD方位与 距离信息获取图像信息； 步骤3、 应用步骤1的雷 达信息与步骤2图像信息进行特征融合， 获取检 测结果。 这种多传感器融合的方法使得雷达设备 与光学设备优缺点互补， 既具有雷达设备的定位 能力与抗干扰能力强、 不受光照影响的优点， 也 具有光学设备能采集丰富的语义信息的优点， 有 效的防止了漏检与误检， 提高了FOD检测的准确 率。 权利要求书2页 说明书6页 附图4页 CN 115524699 A 2022.12.27 CN 115524699 A 1.一种基于多传感器融合的机场跑道 异物检测方法， 其特 征在于， 包括以下步骤： 步骤1、 获取 FOD的雷达信息， 计算出 FOD的方位与距离； 步骤2、 根据步骤1计算出的FOD方位与距离信息获取图像信息； 步骤3、 应用步骤1的雷达信息与步骤2图像信息进行 特征融合， 获取检测结果。 2.根据权利要求1所述的一种基于多传感器融合的机场跑道异物检测方法， 其特征在 于所述步骤3具体包括： 将图像信息放入神经网络获得多个候选区域， 根据雷达信息对各所 述候选区域进行筛 选， 获取最终检测结果。 3.根据权利要求2所述的一种基于多传感器融合的机场跑道异物检测方法， 其特征在 于， 所述神经网络为 目标检测器， 所述 目标检测器包含主干特征提取网络获取多层图像特 征， 特征金字塔融合所述多层图像特 征， 检测头生成候选 框； 所述候选框为所述 候选区域。 4.根据权利要求3所述的一种基于多传感器融合的机场跑道异物检测方法， 其特征在 于， 图像信息经 过主干特 征提取网络处 理后得到特 征层3、 特 征层2、 特 征层1； 特征金字塔的融合过程包括： 特征层1经过卷积层和上采样层得到特征层P1， 特征层P1 与特征层2的加权融合后得到融合特征P2； 融合特征P2经过卷积层和上采样层后与特征层3 加权融合得到融合特征P3； 将融合特征P3作为融合特征N1， 融合特征N1经过卷积层以及下 采样层与融合特征P2以及特征层2加权融合得到融合特征N2， 融合特征N2经过卷积层以及 下采样层与特征层1加权融合后得到融合特征N3； 融合特征N 1、 融合特征N2以及融合特征N3 输入到检测头以生成候选 框。 5.根据权利要求4所述的一种基于多传感器融合的机场跑道异物检测方法， 其特征在 于， 根据雷达信息对各 所述候选区域进行筛 选获取最终检测结果具体包括以下步骤： 首先对图像信息进行等宽度纵向切片操作， 图像信息被分为一定数量的切片； 再将雷 达获取的FOD的点云信息通过转换矩阵投影到图像信息的坐标系， 得到雷达点云在图像信 息中的映射点； 图像信息中包含雷达点云的映射点的切片为雷达感兴趣切片， 使用雷达感 兴趣切片与各候选 框的IOU值筛 选候选框。 6.根据权利要求1所述的雷达信息一种基于多传感器融合的机场跑道异物检测方法， 其特征在于， 所述雷达信息由毫米波 雷达传感器发射调频连续波碰触到FOD后返回得到， 根 据雷达发射信号与接收信号的差计算异 物相对雷达的方位与角度。 7.根据权利要求2所述的一种基于多传感器融合的机场跑道异物检测方法， 其特征在 于， 所述神经网络在用于检测FOD前， 使用已有FOD数据训练神经网络 。 8.根据权利要求7所述一种基于多传感器融合的机场跑道异物检测方法， 其特征在于， 使用已有 FOD数据训练神经网络具体包括： 所述历史数据输入到神经网络前， 对历史数据进 行数据增强， 以提高数据集的多样性以及所述神经网络对小样本目标、 低亮度场景 的检测 能力。 9.一种基于多传感器融合的机场跑道 异物检测系统， 其特 征在于， 包括： 雷达监测模块， 用于发射调频 连续波信号获取 FOD的雷达信息； 相机模块， 用于获取 FOD的图像信息； 检测器模块， 用于 部署FOD目标检测器； 控制器， 包括存储器和 处理器， 所述存储器存储有可在所述处理器上运行的计算机程 序， 所述处理器执行所述计算机程序时实现权利要求1 ‑8中任一项所述的基于多传感器融权　利　要　求　书 1/2 页 2 CN 115524699 A 2合的机场跑道 异物检测方法的步骤。权　利　要　求　书 2/2 页 3 CN 115524699 A 3