(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210650730.0 (22)申请日 2022.06.09 (71)申请人 中国兵器 工业计算机 应用技术研究 所 地址 100089 北京市海淀区车道沟十号院 (72)发明人 陈昭文　郭永红　李旭光　修全发　 史超　刘瑞　李理　崔令飞　 郏奎奎　张恩帅　徐坤　郭凯杰　 刘雨健　张硕阳　李克娜　王东旭　 南怀良　 (74)专利代理 机构 中国兵器 工业集团公司专利 中心 11011 专利代理师 周恒 (51)Int.Cl. G06F 13/38(2006.01)G06F 9/50(2006.01) (54)发明名称 基于地面无人平台的图像处理与融合计算 方法 (57)摘要 本发明属于图像处理、 边缘计算和无人驾驶 技术领域， 为实现地面无人平台低延时、 响应快、 高敏捷的图像处理和融合处理过程， 且同时兼顾 平台全天候和本地化处理任务， 本发 明提出一种 基于地面无人平台的图像处理与融合计算方法， 所述方法所基于的装置包括： 视频接入转换单 元、 FPGA预处理计算单元、 视频接出转换单元、 ARM核心计算单元。 该方法充分发挥FPGA和ARM两 类计算单元硬件架构特点， 利用与软件功能相匹 配的并行和流水线计算资源， 在视频转换单元的 输入输出协同下， 极大程度的减少了视频采集与 处理延时时间， 满足高清、 低功耗场景使用需求， 可达到较优的图像处 理与融合计算效果。 权利要求书3页 说明书9页 附图2页 CN 114936174 A 2022.08.23 CN 114936174 A 1.一种基于地面无人平台的图像处理与融合计算方法， 其特征在于， 所述图像处理与 融合计算方法基于图像处理与融合计算装置来实施， 所述图像处理与融合计算装置包括： 视频接入转换单元、 FPGA预处理计算单元、 视频接出转换单元、 ARM核心计算单元、 LVDS液晶 屏、 按键、 以太网发送模块； 所述图像处 理与融合计算方法包括如下步骤： 步骤1： 无人平台的摄像头图像信息通过同轴电缆线将微光SDI制式图像信息、 红外PAL 制式图像信息传输至视频接入转换单元， 所述视频接入转换单元分别按照BT.1120YUV422 像素标准和BT.656YUV422像素标准进行数据位和帧场行标志 位信息解析， 接着将包含 该信 息的高速图像信号发送至FPGA预处 理计算单 元； 步骤2： FPGA预处理计算单元对接收到的高速图像信号进行进一步的图像预处理工作， 先调整图像的亮度和色度， 接着转化为RGB888像素标准数据后， 通过FIFO输入缓冲区存储 至DDR中， 存储过程同步做顺序场调整， 接着将调整完成后的微光和红外顺序场图像做双边 滤波处理， 发送至 视频接出转换 单元； 步骤3： 视频接出转换单元中的单片机通过I2C总线对视频接出转换器的内部寄存器做 功能配置， 使转换器能够输出微 光和红外的MIPICSI制式图像； 步骤4： ARM核心计算单元接收所述MIPICSI制式图像 并进行读取， 调整和裁剪红外的图 像尺寸使其与微 光图像保持一 致， 接着发送至LVD S液晶屏以供观察； 步骤5： 手动调整微光摄像头和红外摄像头的焦距和方位角使其呈现在LVDS液晶屏上 的拍摄视野保持一 致； 一致后按下确认按键； 步骤6： ARM处理器对红外图像做灰度化处理， 并根据平均 值计算方法提取出判断阈值， 根据阈值依次标记出像素剔除点和像素保留点， 并最 终将像素保留点的灰度值叠加至微光 图像像素点的红色分量， 构成完整的微光红外融合图像， 并通过以太网发送模块将包含融 合图像信息的UD P网络数据包传输 至地面无人平台。 2.如权利要求1所述的基于地面无人平台的图像处理与融合计算方法， 其特征在于， 所 述视频接入转换单元包括两组视频接入转换器、 两组同轴端子插座； 所述两组同轴端子插 座分别接收来自地面无人平台的微光高分辨率摄像头和红外低分辨率摄像头的图像信息， 微光图像信息和红外图像信息的制式分别限定为SD/HD/3G的SDI制式图像信息和PAL制式 图像信息， 用于 达到低延时传输的目的； 所述两组同轴端子插座将SDI制式图像信息和PAL制式图像信息分别传输至两组视频 接入转换器， 两组视频接入转换器接收到图像信息后， 一组视频接入转换器用于将SDI制式 图像信息按照BT.1120YUV422像素标准进行图像信息的像素数据解析， 另一组视频接入转 换器用于将PAL制式图像信息按照BT.656YUV422像素标准进行图像信息的像素数据解析， 解析过程伴随产生相应频率时钟， 图像信息的像素数据位和帧场行标志 位跟随频率时钟周 期上升沿依次转换为FPGA预处理计算单元可识别的高速图像信号， 并通过软排线发送至 FPGA预处理计算单元； 所述高速图像信号包括表征微光图像信息的YUV422像素标准数据和 帧场行标志位、 表征红外图像信息的YUV42 2像素标准数据和帧场行 标志位； 所述FPGA预处理计算单元包括： FPGA可编程逻辑器、 两组DDR存储器、 FLASH存储器； 所 述FPGA预 处理计算单元用于负责地面无人平台图像信息的预 处理工作， 其预 处理逻辑程序 存储于FLASH存 储器中；权　利　要　求　书 1/3 页 2 CN 114936174 A 2所述FPGA可编程逻辑器通过软排线接收到来自视频接入转换单元的高速图像信号后， 先对其所包含的YUV422像素标准数据的亮度、 色度通道进行调整， Y代表亮度通道， UV代表 色度通道， 使其避免图像过暗或偏色， 接着将YUV422像素标准数据转化为RGB888像素标准 数据， 将转换后的RGB888像素标准数据通过FPGA可编程逻辑器内部定义的FIFO输入缓冲区 存至两组DDR存储器中， 其中表征微光图像信息的RGB888像素标准数据存储至DDR存储器 一， 表征红外图像信息的RGB888像素标准数据存储至DDR存储器二； 两组DDR存储器所存储 的单帧图像数据伴随视频流传输不断刷新， 并保持当前最 新帧数据； 所述DDR存储器一及DDR存储器二在存储过程 中， 若FPGA可编程逻辑器检测到帧场行标 志位表征的图像场为顺序场， 则直接将图像场中的每一行数据顺序存入DDR存储器一或DDR 存储器二； 若FPGA可编程逻辑器检测 到帧场行标志位表征的图像场为奇偶场， 则先将每帧 图像的像素单数行隔行存入DDR存储器一 或DDR存储器二， 再将 每帧图像的像素双数行依次 插入隔行间隙中， 从而构成一幅完整的顺序场图像； 所述FPGA可编程逻辑器内部定义一个5阶双边滤波算子， FPGA可编程逻辑器对调整后 的顺序场图像从两组DDR存储器中读出， 然后调用5阶双边滤波算子对图像进行滤波处理， 使其减少因为硬件平台抖动或电磁干扰而产生的像素噪点， 最 终所述FPGA可编程逻辑器将 完成预处 理后的微 光和红外高速图像信号 通过软排线传输 至视频接出转换 单元； 所述视频接出转换单元包括两组视频接 出转换器和单片机， 单片机通过I2C总线与两组 视频接出转换器相连， 用于配置视频接出转换器内部的寄存器， 通过I2C总线对寄存器进行 功能配置使视频接出转换器输出图像制式为MIPI  CSI制式， 用以兼容ARM核心计算单元视 频接入标准； 配置完成后， 两组视频接出转换器分别将微光和红外高速图像信号转换为两 路MIPI CSI制式图像， 并发送至ARM核心计算单 元； 所述ARM核心计算单 元包括： ARM处 理器、 EMMC存储器、 DDR存储器三、 LVD S液晶屏； 所述EMMC存储器用于存储A RM处理器工作所需要的操作系统， DDR存储器三用于临时存 储ARM处理器工作过程中所涉及的计算结果值； 所述ARM处理器用于接收来自两组视频接出 转换器发出的两路MIPI  CSI制式的图像， 并按照RGB888像素标准进行读取， 读取后的每个 像素点的值由3字节构成， 第1字节为蓝色分量、 第2字节为绿色分量、 第3字节为红色分量； 接着计算出微光图像和红外图像各自分辨率尺寸信息和各自图像的长宽比； 计算完成后， 将红外图像等比例拉伸放大， 若微光图像的长宽比大于红外图像的长宽比， 则拉伸红外图 像至长边边长与微光图像的长边边长保持一致； 若微光图像的长宽比小于红外图像的长宽 比， 则拉伸红外图像至短边边长与微光图像的短边边长保持一致； 使用图像双线性插值法 填充拉伸过程中产生的空缺像素点数据； 填充完成后， 按照微光图像的尺寸大小将多出部 分的红外图像信息裁剪掉， 保证微光和红外图像尺寸一致性； 最终将调整完成后的两组图 像按照周期1秒的频率交替推送至LVD S液晶屏上进行显示。 3.如权利要求2所述的基于地面无人平台的图像处理与融合计算方法， 其特征在于， 所 述LVDS液晶屏用于显示微光图像和红外图像， 该两组图像分别对应地面无人平台微光摄像 头和红外摄像头的实时观测值， 手动调整微光摄像头和红外摄像头的焦距和方位角使其呈 现在LVDS液晶屏上的拍摄视野保持一 致。 4.如权利要求3所述的基于地面无人平台的图像处理与融合计算方法， 其特征在于， 所 述按键用于确认当前两组摄像头拍摄视野是否调整一致， 完成按键确认后， ARM处理器对红权　利　要　求　书 2/3 页 3 CN 114936174 A 3