(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211129024.8 (22)申请日 2022.09.16 (71)申请人 南京工业大 学 地址 211816 江苏省南京市江北新区浦珠 南路30号 (72)发明人 缪小冬　吴泽　李伟文　虞浒　 (74)专利代理 机构 北京汇捷知识产权代理事务 所(普通合伙) 11531 专利代理师 杨逊科 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 20/56(2022.01) G06V 10/26(2022.01) (54)发明名称 一种基于双模态融合的低见度道路目标的 检测方法 (57)摘要 本发明公开了基于双模态融合的低见度道 路目标的检测方法， 包括步骤： S1、 采集被检目标 同一时刻同一道路场景的可见光模态 图像与红 外光模态图像； S2、 通过基于语义分割的图像融 合模型将可见光模态 图像与红外光模态 图像进 行图像融合； S3、 对融合图像进行道路目标标注 与未标注处理， 并对数据集进行划分； S4、 基于划 分的数据集 建立双模态道路目标检测模型， 通过 该目标检测模 型对低见度道路目标进行检测。 本 发明有效解决了低见度道路目标检测精度低、 实 时性低等问题。 权利要求书1页 说明书5页 附图5页 CN 115205651 A 2022.10.18 CN 115205651 A 1.一种基于双模态融合的低见度道路目标的检测方法， 其特征在于， 该方法包括以下 步骤： S1、 采集被 检目标同一时刻同一道路场景的可 见光模态图像与红外光模态图像； S2、 通过基于语义分割的图像 融合模型将可见光模态图像与红外光模态图像进行图像 融合； S3、 对融合图像进行道路目标 标注与未 标注处理， 并对数据集进行划分； S4、 基于划分的数据集建立双模态道路目标检测模型， 通过该目标检测模型对低见度 道路目标进行检测。 2.如权利要求1所述的检测方法， 其特征在于， 步骤S1具体包括以下步骤： 双模态图像， 所述双模态图像为 （1） 通过 车载相机与红外相机获取不同时刻、 场景的低见度道路视频流； （2） 使用 OpenCV 对视频流进行读取处理， 设定当前一帧图像中无道路目标时系统隔   1 s 取下一帧图像， 前一帧图像有道路目标时间隔  30 ms 取下一帧图像， 从而获得可见光 模态图像与红外光模态图像； （3） 对所述可 见光模态图像与红外光模态图像进行配准处 理。 3.如权利要求1所述的检测方法， 其特 征在于， 所述 步骤S2包括以下 具体步骤： （1） 分别提取不同模态的图像源的特 征， 通过co ncat操作将两种模态的特 征进行融合； （2） 对融合的特征进行多轮的卷积与激活操作得到融合的图像， 将融合的图像输入到 语义分割网络架构中得到语义分割结果； 其中， 通过语义分割的结果与lab els之间的语义 损失将分割 所需的语义信息传回图像融合网络， 以使融合网络保留源图像中的语义信息， 以及， 通过图像融合的结果与图像源的内容损失约束图像融合网络的优化。 4.如权利要求1所述的检测方法， 其特 征在于， 步骤S3具体包括以下步骤： （1） 设定常见道路运动目标； （2） 通过标签工具Make  Sence或者labelimg对一部分融合图像的道路运动目标进行 框选与定义， 完成标签制作， 另一部分融合图像不进行 标签制作； （3） 打过标签的融合图像按比例划分为训练集与验证集作为训练数据集， 将未打标签 的融合图像作为测试 数据集。 5.如权利要求4所述的检测方法， 其特征在于， 在步骤S4中， 所述双模态道路目标检测 模型的构建构成包括以下步骤： （1） 对训练数据集进行mosaic数据增强、 随机翻转、 遮挡处 理； （2） 初始学习率设为0.01， 最终学习率以one_cycle形式从0.01衰减至0.01*0.2； warmup_epoc hs设为5， 使用预 热使模型收敛速度变快； epoc hs设为300， batch‑size设为16； （3） 选定深度学习预训练模型； （4） 将预训练模型中的主干提取网络改用MobileNet ‑V2， 在保证精度的情况下， 减少参 数量、 降低模型 大小。权　利　要　求　书 1/1 页 2 CN 115205651 A 2一种基于双模 态融合的低见度道路目标的检测方 法 技术领域 [0001]本发明属于目标检测技术领域， 尤其涉及 一种基于双模态融合的低见度道 路目标 的检测方法。 背景技术 [0002]随着人工智能和汽车传感器技术的快速发展， 智能车辆目标检测在良好的道路环 境中达到了较高的水平。 然而， 在夜间等低见度道路环境中的目标检测 仍然存在很大 的挑 战。 [0003]由于可见光具有较详细的纹理信息和较高 的空间分辨率， 而红外光具有较强的穿 透力， 不受光照影响。 为提高对夜间等低见度交通环境下道路运动目标的检测精度， 运用车 载相机捕获可见光图像 （提供目标 纹理、 颜色等信息） 、 红外相机捕获红外光图像 （提供目标 空间位置、 轮廓等信息） ， 将两种配准后的双 模态图像按时间序列输入到双 模态图像融合算 法进行图像的预处理， 从而得到具有纹理细节以及辐 射信息的高质量图像， 提升单阶段目 标检测技 术在低见度场景 下的目标检测的鲁棒 性。 [0004]虽然双模态图像融合技术得到了快速发展和普及， 但是， 多数算法融合结果的背 景区域的纹理细节受到热辐 射信息的干扰， 无法保留目标 的锐化边缘， 难以做到既保留可 见图像的纹理细节又保持显著目标的强度。 此外在融合效率上难以满足道路目标检测的实 时性要求。 如何在兼顾融合效果的同时提高 融合效率是亟 待解决的工程问题。 发明内容 [0005]本发明的目的在于提供一种基于双模态融合的低见度道路目标的检测方法， 旨在 解决以低见度道路目标检测精度低、 实时性低等问题。 [0006]本发明是这样实现的， 一种基于双模态融合的低见度道路目标的检测方法， 该方 法包括以下步骤： S1、 采集被 检目标同一时刻同一道路场景的可 见光模态图像与红外光模态图像； S2、 通过基于语义分割的图像融合模型将可见光模态图像与红外光模态图像进行 图像融合； S3、 对融合图像进行道路目标 标注与未 标注处理， 并对数据集进行划分； S4、 基于划 分的数据集建立双模态道路目标检测模型， 通过该目标检测模型对低 见度道路目标进行检测。 [0007]优选地， 步骤S1具体包括以下步骤： （1） 通过 车载相机与红外相机获取不同时刻、 场景的低见度道路视频流； （2） 使用 OpenCV 对视频流进行读取处理， 设定当前一帧图像中无道路目标时系 统隔 1 s 取下一帧图像， 前一帧图像有道路目标时间隔  30 ms 取下一帧图像， 从而获得 可见光模态图像与红外光模态图像； （3） 对所述可 见光模态图像与红外光模态图像进行配准处 理。说　明　书 1/5 页 3 CN 115205651 A 3