(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210188383.4 (22)申请日 2022.02.28 (71)申请人 重庆长安汽车股份有限公司 地址 400020 重庆市江北区建新 东路260号 (72)发明人 杨秋红　董楠　赵晓龙　金涛　 倪守城　孙炼杰　王学方　任凡　 (74)专利代理 机构 重庆博凯知识产权代理有限 公司 50212 专利代理师 张先芸 (51)Int.Cl. H04N 7/18(2006.01) H04N 5/232(2006.01) H04N 5/265(2006.01) H04N 5/272(2006.01) (54)发明名称 一种基于道路交通场景下的全景视频拼接 方法及系统 (57)摘要 本发明公开一种基于道路交通场景下的全 景视频拼接方法及系统， 包含图像采集、 图像畸 变矫正及预处理、 图像特征点提取、 图像匹配、 匹 配特征点对 过滤、 获取投影变换的单应性矩阵和 图像融合。 本发 明通过深度学习网络实现特征点 的提取和特征点匹配， 图像特征点提取的时候， 分别对动态前景和静态背景进行特征点提取， 通 过提取不同摄像头之间重叠区域背景和前景的 特征点， 并对特征点进行匹配， 动态获取不同摄 像头之间的相对位置关系， 实现了对片区道路交 通系统中摄像头间图像的实时融合拼接； 解决了 传统的单摄像头监控体系， 需要相关人员人工调 出相应多个摄像头图像， 进行比对拼合， 才能获 取到有用信息等问题， 同时完美解决了目标跨摄 像头追踪问题。 权利要求书1页 说明书4页 附图2页 CN 114554158 A 2022.05.27 CN 114554158 A 1.一种基于道路交通场景 下的全景视频拼接方法， 其特 征在于， 包 含以下步骤： S1、 图像采集： 由多个摄像头同步采集测试路段中每路摄像头的图像， 要求每个摄像头 的时间戳 严格一致； S2、 图像畸变矫正及预处理： 采用何凯明暗通道去雾算法对采集的多个图像进行矫正 及预处理； S3、 图像特征点提取： 采用深度学习网络sup erpoint对图像进行特征点的提取； 提取摄 像头之间重 叠区域的特 征点， 包含角点和梯度变化明显的点， 并生成特 征描述子； S4、 图像匹配： 采用基于图卷积神经网络的特征匹配算法sup erglue对图像进行特征匹 配, 其中输入 是两张图像中superpoint网络提取的特征点以及 描述子， 输出是图像特征之 间的匹配关系； S5、 匹配特 征点对过 滤： 利用K近邻算法对匹配上的特 征点对进行 过滤； S6、 获取投影变换的单应性矩阵， 完成投影变换： 过滤后剩余的匹配点对利用Ransac算 法循环遍历， 直到计算得到图像间投影所需的最佳 单应性矩阵， 完成图像间的拼接； S7、 图像融合： 采用动态规划寻找最佳拼接线 进行图像融合。 2.根据权利要求1所述的基于道路交通场景下的全景视频拼接方法， 其特征在于， 所述 S3中， 重叠区域分为静态的背景和动态的前 景， 分别提取背景和前 景特征点。 3.根据权利要求1所述的基于道路交通场景下的全景视频拼接方法， 其特征在于， 所述 S4中， 图像特征匹配包括静态匹配和动态匹配； 静态匹配包括道路场景下的道路、 交通标 识、 树木等静态 物体的匹配； 动态匹配包括指行 人、 车辆等的匹配。 4.根据权利要求1所述的基于道路交通场景下的全景视频拼接方法， 其特征在于， 所述 静态匹配对于图像而言基本相当于背景， 可以单独对背景 的特征点进行匹配； 动态匹配对 于图像而言相当于前 景， 可以单独对前 景的特征点进行匹配。 5.根据权利要求1所述的基于道路交通场景下的全景视频拼接方法， 其特征在于， 所述 图像融合使用快速颜色插值模型 结合邻近最短距离法寻找最佳拼接线 进行图像融合。 6.一种基于道路交通场景下的全景视频拼接系统， 其特征在于， 包括摄像头和处理器， 所述处理器执行权利要求1 ‑5任一全景视频拼接方法。权　利　要　求　书 1/1 页 2 CN 114554158 A 2一种基于道路交通场景下的全景视频拼 接方法及系统 技术领域 [0001]本发明涉及交通管理和视频监控技术领域， 具体涉及一种基于道 路交通场景下的 全景视频拼接方法及系统。 背景技术 [0002]随着经济 的逐步繁荣， 科学技术的不断发展， 对城市道路交通的全面实时监测变 得越发重要， 通过科学技术手段建立全面的道路交通图像管理平台成为各地交通管理部门 的目标。 目前， 道路交通监测系统已经基本实现覆盖城市和乡镇主干道， 辅道和路口的数字 网络系统， 并配备了相 应的图像监视设备和操作软件， 可实时将道路交通的运行状况传送 至相应的调度中心， 对道路交通运行状况进行监控。 一旦出现问题， 第一时间做出反馈。 但 是因为目前现有的监控设备， 主要是现有的安防摄像头， 存在摄像头之间没有直观的位置 关系， 一旦查找跨摄像头的情况， 需要相关人员人工调出相应多个摄像头的图像， 一一进 行 比对拼合， 才能获取到有用信息， 费事费力。 [0003]CN113055613A公开 “一种基于矿山场景下的全景视频拼接的方法及装置 ”， 其采用 传统SURF算法提取特征点， 并生成特征描述子， SURF算法在实际应用中不能实现视频帧的 实时处理， 基本可以排除工程应用； 并且， 特征匹配算法采用K最近邻分类算法,匹配误差较 大。 又如， CN103516995A公开 “一种基于ORB特征的实时全景视频拼接方法和装置 ”采用的方 法是： 开启采集多路同步视频数据； 采用ORB特征提取算法对同一时刻的各路图像进 行特征 点提取并计算各特征点的ORB特征向量； 采用最邻近匹配法和RANSAC(随机抽样一致性)匹 配算法求出同步视频对应 帧间的单应性矩阵； 根据单应性矩阵进行视频帧场景 的拼接； 最 后输出拼接后的视频。 但是， 所述对比文件都是通过传统的图像特征点提取和匹配方法， 比 如sift或者surf， 其存在特 征点提取精度不高， 提取时间太长， 不能实现实时拼接 。 发明内容 [0004]针对现有技术存在的上述不足， 本发明的目的在于提供一种基于道 路交通场景下 的全景视频拼接方法及系统， 解决现有技术提取精度不高、 查找费时费力和 不能实现实时 拼接的问题。 [0005]为实现上述目的， 本发明采用如下技 术方案： 一种基于道路交通场景 下的全景视频拼接方法， 包 含以下步骤： S1、 图像采集： 由多个摄像头同步采集测试路段中每路摄像头的图像， 要求每个摄 像头的时间戳 严格一致； S2、 图像畸变矫正及预处理： 采用何凯明暗通道去雾算法对采集的多个图像进行 矫正及预处 理； S3、 图像特征点提取： 采用深度学习网络superpoint对图像进行特征点的提取； 提 取摄像头之间重 叠区域的特 征点， 包含角点和梯度变化明显的点， 并生成特 征描述子； S4、 图像匹配： 采用基于图卷积神经 网络的特征 匹配算法superglue对图像进行特说　明　书 1/4 页 3 CN 114554158 A 3