(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210215554.8 (22)申请日 2022.03.07 (65)同一申请的已公布的文献号 申请公布号 CN 114449130 A (43)申请公布日 2022.05.06 (73)专利权人 北京拙河科技有限公司 地址 100000 北京市海淀区四道口北街3 6 号4号楼6层0 6 (72)发明人 温建伟　 其他发明人请求 不公开姓名　 (74)专利代理 机构 北京君莫知识产权代理事务 所(普通合伙) 11715 专利代理师 崔云鹤 (51)Int.Cl. H04N 5/06(2006.01)H04N 5/232(2006.01) H04N 5/265(2006.01) 审查员 张鑫垚 (54)发明名称 一种多摄 像头的视频融合方法及系统 (57)摘要 本发明提出一种多摄像头的视频融合方法 及系统， 属于视频融合技术领域。 方法包括如下 步骤： S1： 获取多个摄像头拍摄的多个视频图像； S2： 从多个视频图像中获得多个时间同步的关键 帧； S3： 计算多个时间同步的关键帧的帧同步参 数Fs； S4： 判断帧同步参数Fs是否符合预定 条件； 如果是， 则对多个视频图像执行视频融合； 如果 否， 则调节多个摄像头中至少一个摄像头的拍摄 角度， 返回步骤S1。 系统包括帧同步参数计算模 块、 摄像头角度调节模块、 视频融合模块以及判 断模块。 本发 明通过帧 同步参数的判断来执行摄 像头角度调节、 摄像机标定和/或视频融合， 避免 了多个不同视频在不同步时融合时导致的画面 错乱问题。 权利要求书4页 说明书7页 附图5页 CN 114449130 B 2022.09.09 CN 114449130 B 1.一种多摄 像头的视频融合方法， 其特 征在于， 所述方法包括如下步骤： S1： 获取多个 摄像头拍摄的多个视频图像； S2： 从所述多个视频图像中获得多个时间同步的关键帧； S3： 计算所述多个时间同步的关键帧的帧同步 参数Fs； S4： 判断所述帧同步 参数Fs是否符合预定条件； 如果是， 则对所述多个视频图像执 行视频融合； 如果否， 则调节所述多个 摄像头中至少一个 摄像头的拍摄角度， 返回步骤S1； 其中， 所述帧同步 参数Fs按照如下 方式确定： 其中， Area(i)、 Area(j)分别为来自第i个、 第j个摄像头拍摄的视频图像中获得的时间 同步关键帧中包 含预定追踪目标的最小像素区域 面积； Angle(i)、 Angle(j)分别为第i个、 第j个摄像头的中心线与包含所述预定追踪目标的 最小像素区域的几何中心的夹角； pix(i)、 pix(j)为分别为第i个、 第j个 摄像头的分辨 率； n为所述摄 像头的数量。 2.如权利要求1所述的一种多摄 像头的视频融合方法， 其特 征在于： 所述多个 摄像头的拍摄角度各不相同； 每一个摄像头的拍摄角度在预定范围内可调节。 3.如权利要求1所述的一种多摄 像头的视频融合方法， 其特 征在于： 所述摄像头为光场相机； 在所述步骤S1之前， 所述方法还 包括： S01： 通过多个所述 光场相机获得多个角度的多个光场视频参 考图像； S02： 基于所述多个角度的多个光场视频参 考图像对光场相机执 行校正同步。 4.如权利要求3所述的一种多摄 像头的视频融合方法， 其特 征在于： 所述步骤S01具体包括： 在所述光场相机的拍摄范围内放置多个标准 参考目标； 采用所述 光场相机拍摄所述标准 参考目标， 获得多个角度的多个光场视频参 考图像； 所述步骤S02具体包括： 计算所述多个角度的多个光场视频参 考图像的帧同步 参数Fst； 若所述帧同步参数Fst小于预设阈值Threshold， 则 对所述光场相机阵列包括的多个光 场摄像机执行时间同步； 所述帧同步 参数Fst按照如下 方式确定：权　利　要　求　书 1/4 页 2 CN 114449130 B 2λ1+λ2＝1 其中， Area(i) ′、 Area(j) ′分别为第i个、 第j个光场相机拍摄的光场视频参考图像中包 含所述标准 参考目标的最小像素区域 面积； Angle(i)'、 Angle(j)'分别为第i个、 第j个光场相机中心线与包含所述标准参考目标 的最小像素区域的几何中心的夹角； pix(i)′、 pix(j)′为分别为第i个、 第j个光场相机的分辨 率； n为所述光场相机阵列包 含的光场相机的数量， n>1， λ1、 λ2为可调节的权 重参数。 5.一种多摄像头的视频融合系统， 所述系统包括帧同步参数计算模块、 摄像头角度调 节模块、 视频融合模块以及判断模块； 其特征在于： 所述帧同步 参数计算模块用于计算多个图像帧之间的帧同步 参数Fs； 所述摄像头调节模块用于在预设范围内调节摄 像头的拍摄角度； 所述视频融合模块用于将多个 摄像头拍摄的多个不同角度的视频进行视频融合； 所述判断模块用于判断所述帧同步参数计算模块输出的帧同步参数是否符合预定条 件， 当所述帧同步参数计算模块输出的帧同步参数符合预定条件时， 启动所述视频融合模 块； 当所述帧同步参数计算模块输出的帧同步参数不符合预定条件时， 启动所述摄像头角 度调节模块； 其中， 多个 摄像头拍摄的视频图像包 含预定追踪目标； 所述帧同步 参数Fs按照如下 方式确定： 其中， Fs为实时帧同步参数； Area(i)、 Area(j)分别为来自第i个、 第j个摄像头拍摄的 视频图像中获得的时间同步关键帧中包 含预定追踪目标的最小像素区域 面积； Angle(i)、 Angle(j)分别为第i个、 第j个摄像头的中心线与包含所述预定追踪目标的 最小像素区域的几何中心的夹角； pix(i)、 pix(j)为分别为第i个、 第j个 摄像头的分辨 率；权　利　要　求　书 2/4 页 3 CN 114449130 B 3