(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211211194.0 (22)申请日 2022.09.30 (71)申请人 山东大学 地址 250100 山东省济南市 市中区二环东 路12550号 申请人 山东高速集团有限公司 (72)发明人 吴建清　王川　厉周缘　孙希滕　 霍延强　解冬东　王建柱　田源　 芮一康　冉斌　 (74)专利代理 机构 北京睿智保诚专利代理事务 所(普通合伙) 11732 专利代理师 杜娟 (51)Int.Cl. G06V 10/80(2022.01) G06V 20/10(2022.01)G06V 20/64(2022.01) G01S 17/66(2006.01) G01S 17/86(2020.01) (54)发明名称 基于激光雷达和摄像头融合感知的轨迹追 踪方法及系统 (57)摘要 本发明公开了一种基于激光雷达和摄像头 融合感知的轨迹追踪 方法及系统， 属于道路交通 检测技术领域， 包括： 利用路侧布设的激光雷达 和摄像头采集目标车辆和周围环境的点云数据 和图像数据， 并对采集的点云数据和图像数据进 行配准； 完成配准后生成对应的点云轨迹信息和 图像轨迹信息， 并基于点云与距离的关系确定点 云轨迹信息和图像轨迹信息的权重系数； 最后根 据点云轨迹信息和图像轨迹信息的权重系数融 合点云轨迹信息和图像轨迹信息， 生成最终的轨 迹信息。 本发明根据点云数量随距离的变化关 系， 确定图像与点云轨迹信息在融合过程中所占 权重， 充分发挥了点云和图像的互补性， 提高了 系统的鲁棒 性。 权利要求书2页 说明书5页 附图2页 CN 115546595 A 2022.12.30 CN 115546595 A 1.一种基于 激光雷达和摄 像头融合感知的轨 迹追踪方法， 其特 征在于， 包括以下步骤： 利用路侧布设的激光雷达采集目标车辆及周围环境的点云数据， 利用路侧 布设的摄像 头采集目标 车辆及周围环境的图像数据， 并将采集的点云数据和图像数据进行配准； 基于配准后的点云数据生成点云轨 迹信息， 并确定所述 点云轨迹信息的权 重系数； 基于配准后的图像数据生成图像轨迹信息， 并基于所述点云数据和所述图像数据， 确 定所述图像轨 迹信息的权 重系数； 根据所述点云轨迹信息和所述图像轨迹信息的权重系数融合所述点云轨迹信息和所 述图像轨 迹信息， 生成最终的轨 迹信息。 2.根据权利要求1所述的一种基于激光雷达和摄像头融合感知的轨迹追踪方法， 其特 征在于， 对所述 点云数据和图像数据的配准的具体步骤为： 以采集的点云数据的时间戳为基准， 匹配与所述点云数据时间差最小的图像数据， 完 成所述点云数据与所述图像数据的时间同步； 通过摄像头内参以及激光雷达和摄像头联合外参的配准标定， 获得内外参数矩阵， 同 步所述点云数据和所述图像数据的信息 。 3.根据权利要求1所述的一种基于激光雷达和摄像头融合感知的轨迹追踪方法， 其特 征在于， 所述点云轨迹信息生成的步骤为： 基于点云数据目标检测算法和点云分割， 对所述 点云数据进行关键目标点云特征信息的提取， 最后根据提取的关键目标点云特征信息生成 所述点云轨迹信息。 4.根据权利要求1所述的一种基于激光雷达和摄像头融合感知的轨迹追踪方法， 其特 征在于， 所述图像轨迹信息生成的步骤为： 基于图像数据检测算法对配准后的图像数据进 行目标检测， 提取图像数据信息生成 图像轨迹信息， 并根据提取 的图像数据信息确定所述 图像轨迹信息。 5.根据权利要求1所述的一种基于激光雷达和摄像头融合感知的轨迹追踪方法， 其特 征在于， 所述确定点云轨迹信息的权重系数的步骤为： 根据采集的点云数据， 获取点云数量 和所述激光雷达与所述目标车辆的距离， 根据所述点云数量和所述激光雷达与目标车辆的 距离构建点云数量与 距离的关系， 根据所述点云数量与 距离的关系确定所述点云轨迹信息 的权重系数与所述距离的关系。 6.根据权利要求5所述的一种基于激光雷达和摄像头融合感知的轨迹追踪方法， 其特 征在于， 所述确定图像轨迹信息的权重系数的步骤为： 根据所述点云数量与 距离的关系， 确 定所述图像轨 迹信息的权 重系数。 7.根据权利要求5所述的一种基于激光雷达和摄像头融合感知的轨迹追踪方法， 其特 征在于， 所述 点云数据由水平方向点云数据和竖直方向的点云数据融合得到 。 8.根据权利要求1所述的一种基于激光雷达和摄像头融合感知的轨迹追踪方法， 其特 征在于， 所述图像信息轨迹包括： 帧数、 检测类别、 2D目标物体检测 框、 目标追踪编号； 所述 点云轨迹信息包括： 帧数、 检测类别、 2D目标物体 检测框、 目标追踪编号。 9.一种基于激光雷达和摄像头融合感知的轨迹追踪系统， 其特征在于， 所述基于激光 雷达和摄像头融合感知的轨迹追踪系统包括： 数据采集模块、 数据处理模块、 数据融合模 块； 所述数据采集模块分为点云采集单元和图像采集单元； 所述点云采集单元通过激光雷权　利　要　求　书 1/2 页 2 CN 115546595 A 2达采集目标车辆及周围环境的点云数据， 并传输给数据 处理模块； 所述图像采集单元通过 摄像头采集目标 车辆及周围环境的图像数据， 并传输给 数据处理模块； 所述数据处理模块包括数据配准单元、 点云数据处理单元和图像数据处理单元； 所述 数据配准单元用于根据所述点云采集单元采集点云数据匹配与所述点云数据时间差最小 的图像数据， 完成所述点云数据和所述图像数据的时间同步； 所述点云数据 处理单元用于 提取所述点云数据中的关键目标点云特征信息， 生成点云轨迹信息， 并确定所述点云轨迹 信息的权重系 数； 所述图像数据 处理单元用于提取所述图像数据中的图像数据信息， 生成 图像轨迹信息， 并根据点云数据和图像数据确定所述图像轨 迹信息的权 重系数； 所述数据融合单元用于根据所述数据处理单元生成的点云轨迹信息的权重系数和图 像轨迹信息的权 重系数融合所述 点云轨迹信息和所述图像轨 迹信息， 生成最终轨 迹信息。 10.根据权利要求9所述的一种基于激光雷达和摄像头 融合感知的轨迹追踪系统， 其特 征在于， 所述点云数据处理单元还包括点云数量提取单元、 距离提取单元、 第一关系构建单 元、 第二关系构建单 元； 所述点云数量 提取单元用于提取 所述点云数据的中的点云数量； 所述距离提取 单元用于提取 所述点云数据中激光雷达与目标 车辆的距离； 所述第一关系构建单元用于根据所述点云数量和所述激光雷达与目标车辆的距离构 建点云数量与距离的关系； 所述第二关系构建单元用于根据所述点云数量与距离的关系确定所述点云轨迹信息 的权重系数与所述距离的关系。权　利　要　求　书 2/2 页 3 CN 115546595 A 3