(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210555189.5 (22)申请日 2022.05.19 (71)申请人 扬州大学 地址 225009 江苏省扬州市大 学南路88号 (72)发明人 孙进　周威　谢文涛　汪和平　 马昊天　雷震霆　梁立　 (74)专利代理 机构 南京苏科专利代理有限责任 公司 32102 专利代理师 董旭东　季雯 (51)Int.Cl. G06T 7/73(2017.01) G06T 5/00(2006.01) G06V 10/46(2022.01) G06V 20/05(2022.01) (54)发明名称 基于约束相机运动与畸变校正的水下视觉 SLAM方法 (57)摘要 本发明公开了基于约束相机运动与畸变校 正的水下视觉SLA M方法， 通过利用约束拍摄相邻 帧数图像以及整体相机运动路径的方法， 创建水 下速度优化方程， 对水下相机运动速率进行局部 以及整体优化； 本发明解决了因水下相机运动速 率偏差过大而引起气泡的问题， 保证了拍摄图像 的质量， 有利于SLAM的建图； 在创建词袋时， 通过 融合径向畸变、 切向畸变以及散射系数的方法， 对拍摄到的图像及其特征点进行水下畸变校正， 可以有效解决在回环检测时出现的特征点误匹 配问题， 并且有效消除水下累计误差， 提高回环 检测的真实回环率。 权利要求书2页 说明书7页 附图1页 CN 114820797 A 2022.07.29 CN 114820797 A 1.一种基于约束相机运动与畸变校正的水下视觉SLAM方法， 其特征在于， 包括以下步 骤： 步骤1)传感器信息获取； 步骤2)基于单目相机的特 征点法的前端视 觉里程计； 步骤3)基于约束相机运动与图像畸变校正的后端优化； 步骤3‑1)建立误差代价 函数和增量方程并求 解； 步骤3‑2)利用约束拍摄相邻帧数图像以及整体相机运动路径的方法， 创建约束局部相 邻帧数以及整体水 下速度优化相机运动方程； 步骤3‑3)在创建SLAM词袋时， 通过融合径向畸变、 切向畸变以及散射系数的方法， 对拍 摄到的图像及其特 征点进行畸变校正； 步骤4)基于特 征元素相似度的回环检测； 步骤5)基于ORB特 征匹配的SLAM建图。 2.根据权利要求1所述的基于约束相机运动与畸变校正的水下视觉SLAM方法， 其特征 在于， 所述步骤3 ‑1)具体包括： 利用两相机的位置信息以及相对运动信息 之间的相对关系， 构建最小二乘问题进行优化 求解， 并在优化后估计相机的运动变化， 对相机运动进行反馈； 首先根据两 帧相机的位姿得到相对的位姿变换 其中η′ij为计算求得 的拍 摄两帧图像时相机的相对位移， 其中， ηi为i帧的相机位姿信息， ηi‑1为i帧的相机位姿信息 的逆矩阵， ηj为j帧的相机位姿信息； 另外实际的拍摄两帧图像之间相机的实际相对位移 ηij， 根据i， j两帧图像利用对极几何方法计算得到， 优化的目标函数oij为： minoij＝min( ηij‑η′ij)                         (1) 其中， oij为目标函数， ηij为拍摄两帧图像之间相机的实际相对位移； 对目标函数进行求 解得到： 其中， 为目标函数的泰勒展开， 为目标函数的偏导数， δ ηi和 δ ηj为两帧相机位姿的 微小扰动。 3.根据权利要求1所述的基于约束相机运动与畸变校正的水下视觉SLAM方法， 其特征 在于， 所述步骤3 ‑2)具体包括： 提出一种限制相机局部整体运动方法， 记作Ck,k+1,k+2,k+3,k+4 … 为某一帧数的相机位置， Ck,k+1、 Ck+1,k+2、 Ck+2,k+3为相邻帧数之间相机的位移路径， T为每一帧 相隔时间， 通过速度优化公式来限制局部与整体速率 为： 其中， k为相机运动过程内某一位置点， T为相机拍摄相邻帧数图片的时间， n为总拍摄 图像总数 ‑1。 4.根据权利要求1所述的基于约束相机运动与畸变校正的水下视觉SLAM方法， 其特征 在于， 所述步骤3 ‑3)具体包括： 采用求解相机的径向畸变与切向畸变， 从而解决特征点因为 水下环境而发生的空间坐标与像素点 坐标的畸变；权　利　要　求　书 1/2 页 2 CN 114820797 A 2相机的坐标系 点Q[X,Y,Z]通过四个畸变纠正系数h1， h2， l1， l2以及散射系数kυ， 获取正 确的像素坐标[xcd,ycd]， 即通过径向畸变和 切向畸变的纠正： 其中， 整体畸变矫正坐标为[xcd,ycd]， 畸变坐标为[x,y]， h1和h2为中心区域和边缘区域 的径向畸变系数， l1和l2为x和y轴方向上切向畸变系数， b2的数值为纠正位置的横纵坐标平 方和， kυ为散射系数， dx、 dy分别为x， y轴方向上的偏移量； 畸变矫正后的图像及特 征点， 即算法提取的所有回环中是真实回环的概 率： 其中， P为回环检测准确率， ∑mtp为算法是回环且事实也是回环的全部事件， ∑nfp为算 法是回环 但事实不是回环的全部事 件。权　利　要　求　书 2/2 页 3 CN 114820797 A 3