(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210536441.8 (22)申请日 2022.05.18 (65)同一申请的已公布的文献号 申请公布号 CN 114638897 A (43)申请公布日 2022.06.17 (73)专利权人 魔视智能科技 （武汉） 有限公司 地址 430058 湖北省武汉市武汉经济技 术 开发区22MB地块湖北文创科技 企业孵 化器(集-WCKJ- C2101) (72)发明人 王一夫　张如高　虞正华　 (74)专利代理 机构 北京三聚阳光知识产权代理 有限公司 1 1250 专利代理师 陈刚 (51)Int.Cl. G06T 7/73(2017.01)G06T 7/77(2017.01) G06T 7/80(2017.01) (56)对比文件 CN 10916 6149 A,2019.01.08 审查员 闵格 (54)发明名称 基于无重叠视域的多相机系统的初始化方 法、 系统及装置 (57)摘要 本发明公开了一种基于无重叠视域的多相 机系统的初始化方法、 系统及装置。 在车辆初始 化过程中， 针对相机拍摄的图像数据， 生成各帧 图像数据相对于第一帧图像数据的车体相对旋 转； 基于所述车体相对旋转， 构建各帧图像数据 之间的约束关系， 并从所述约束关系中求解特征 点的坐标信息和车辆的位移； 根据所述坐标信息 和所述位移， 构建特征点的视觉重投影残差信息 和相邻图像帧之间的惯性残差信息； 对 所述视觉 重投影残差信息和所述惯性残差信息进行联合 优化， 以生成优化后的车体坐标系的位姿信息和 特征点的坐标信息。 本发明提供的技术方案， 能 够提升SLAM的初始化精度。 权利要求书3页 说明书8页 附图3页 CN 114638897 B 2022.09.27 CN 114638897 B 1.一种基于无重 叠视域的多相机系统的初始化方法， 其特 征在于， 所述方法包括： 在车辆初始化过程中， 针对相机拍摄的图像数据， 生成各帧图像数据相对于第一帧图 像数据的车体相对旋转； 基于所述车体相对旋转， 构建各帧图像数据之间的约束关系， 并从所述约束关系中求 解特征点的坐标信息和车辆的位移， 其中， 按照以下公式构建各帧图像数据之间的约束关 系： 其中， 表示第 个相机拍摄的第 帧图像数据相对于第一帧图像数据的车体相对旋 转， 表示第 个相机， 表示第 个特征点在相机的第一帧图像数据下的相对深度， 表 示第 个特征点在第 帧图像数据中的方向向量， 表示第 个相机拍摄的第 帧图像数据 相对于第一帧图像数据车体相对位移； 其中， 利用预先标定好的相机外参数 和 ， 将车体相对旋转 代入上述的约束关 系， 以获得第二约束关系： 基于所述第二约束关系构造非齐次线性方程组 ， 其中： 表示当前相机拍摄的第 帧图像数据时刻相对于第一帧图像数据时刻的车体相对 旋转， 表示当前相机拍摄的第 帧图像数据时刻相 对于第一 帧图像数据时刻的车体相对 位移； 根据所述坐标信 息和所述位移， 构建特征点的视觉重投影残差信 息和相邻图像帧之间 的惯性残差信息； 对所述视觉重投影残差信 息和所述惯性残差信 息进行联合优化， 以生成优化后的车体 坐标系的位姿信息和特 征点的坐标信息 。 2.根据权利要求1所述的方法， 其特征在于， 生成各帧图像数据相对于第 一帧图像数据 的车体相对旋转包括： 从惯性系统中识别车体坐标系的第 一相对旋转， 并从多相机系统中识别车体坐标系的权　利　要　求　书 1/3 页 2 CN 114638897 B 2第二相对旋转； 将所述第一相对旋转和所述第二相对旋转进行融合， 并对融合后的旋转进行航迹推 算， 生成各帧图像数据相对于第一帧图像数据的车体相对旋转。 3.根据权利要求2所述的方法， 其特征在于， 从惯性系统中识别车体坐标系的第 一相对 旋转包括： 获取惯性测量单元在所述车辆初始化过程中的惯性相对旋转， 并通过惯性坐标系到车 体坐标系之间的旋转外参， 将所述惯性相对旋转 转换为车体坐标系的第一相对旋转。 4.根据权利要求1所述的方法， 其特征在于， 在车辆进入初始化过程之前， 所述方法还 包括： 在相机拍摄的图像数据中， 针对第一帧图像数据中的目标特征点， 在其它各帧图像数 据中识别与所述目标 特征点相匹配的匹配特 征点； 计算所述匹配特征点与所述目标特征点之间的位置误差， 若所述位置误差小于或者等 于指定误差阈值， 判定车辆当前处于静止状态； 当所述匹配特征点与 所述目标特征点之间的位置误差大于所述指定误差阈值 时， 判定 所述车辆进入车辆初始化过程。 5.根据权利要求1所述的方法， 其特 征在于， 构建特 征点的视 觉重投影残差信息包括： 识别特征点在相机坐标系下的估计值和观测值， 其中， 所述估计值为特征点在图像平 面的投影； 将所述估计值和所述观测值之间的平面距离作为构建的视 觉重投影残差信息 。 6.根据权利要求1所述的方法， 其特征在于， 所述相邻图像帧之间的惯性残差信 息为相 邻图像帧之间惯性测量单 元的测量 值与估计值的差值。 7.一种基于无重叠视域的多相机系统的初始化系统， 其特征在于， 所述初始化系统包 括： 车体相对旋转生成单元， 用于在车辆初始化过程中， 针对相机拍摄的图像数据， 生成各 帧图像数据相对于第一帧图像数据的车体相对旋转； 约束关系求解单元， 用于基于所述车体相对旋转， 构建各帧图像数据之间的约束关系， 并从所述约束关系中求解特征点的坐标信息和车辆的位移， 其中， 按照以下公式构建各帧 图像数据之间的约束关系： 其中， 表示第 个相机拍摄的第 帧图像数据相对于第一帧图像数据的车体相对旋 转， 表示第 个相机， 表示第 个特征点在相机的第一帧图像数据下的相对深度， 表 示第 个特征点在第 帧图像数据中 的方向向量， 表示第 个相机拍摄的第 帧图像数据 相对于第一帧图像数据车体相对位移； 其中， 利用预先标定好的相机外参数 和 ， 将车体相对旋转 代入上述的约束关 系， 以获得第二约束关系： 权　利　要　求　书 2/3 页 3 CN 114638897 B 3