(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210595435.X (22)申请日 2022.05.29 (71)申请人 西北工业大 学 地址 710072 陕西省西安市友谊西路127号 (72)发明人 张立川　朱玉琛　赵荞荞　柏书昌　 何悦　陈毅　朱梓霄　钟耀辉　 (74)专利代理 机构 西安凯多 思知识产权代理事 务所(普通 合伙) 61290 专利代理师 刘新琼 (51)Int.Cl. G06T 7/73(2017.01) G06T 7/80(2017.01) G06V 10/25(2022.01) G06V 10/82(2022.01) G06V 20/05(2022.01)G06N 3/04(2006.01) (54)发明名称 基于视觉的水下仿生蝠鲼机器鱼相对距离 与方位估计方法 (57)摘要 本发明涉及一种基于视觉的水下仿生蝠鲼 机器鱼相对距离与方位估计方法， 通过获取数据 集对目标检测网络进行训练， 训练结束后即可使 用该网络得到水下仿生蝠鲼机器鱼的方位和预 测框位于像素坐标系下的位置。 之后利用半全局 双目匹配方法得到双目视差图， 结合相机标定信 息与视差像素搜索方法即可获得仿生蝠鲼机器 鱼的相对距离估计。 可以有效克服水下仿生蝠鲼 机器鱼单体运动状态复杂、 姿态变化幅度大、 固 定点位少， 使用传统航行器类似的固定点位指示 灯方式获取相对距离与方位估计难度较大的问 题。 权利要求书3页 说明书9页 附图6页 CN 115170654 A 2022.10.11 CN 115170654 A 1.一种基于视觉的水下仿生蝠鲼机器鱼相对距离与 方位估计方法， 其特征在于步骤如 下： S1： 获取水下仿生蝠鲼机器鱼运动图像数据集， 并进行类别标注与真实框标定； S2： 将图像和包含类别标注和真实框标定的标签文件同时送入用于目标检测神经网络 中进行训练和验证； 所述 目标检测神经网络输出方位估计、 方位预测的置信度和预测框在 像素坐标系下的左上角坐标、 右下角坐标； S3： 使用双目标定方法， 获取左相机和右相机的内参矩阵、 畸变参数， 右相机相对于左 相机的旋转矩阵和平 移向量； S4： 对双目相机进行径向畸变与切向畸变矫 正； S5： 通过双目立体匹配方法获取视 差图； S6： 将S4经过矫正后的双目相机中左相机图像输入S2中训练好的目标检测神经网络 中， 获得水下仿生蝠鲼机器鱼预测框在像素坐标系下的左上角坐标、 右下角坐标、 相机位于 水下仿生蝠鲼机器鱼的方位估计和方位预测的置信度； S7： 将S6得到的预测框左上角坐标、 右下角坐标计算得到预测框中心点坐标和预测框 像素面积； S8： 计算预测框像素面积所占图像总面积的比例， 将其记为搜索范围参数； S9： 由搜索范围参数计算视差搜索像素范围， 依照视差搜索像素范围将S5所得的视差 图内对应 每个像素点的视 差值全部取 出； S10： 使用S3所得的相机标定数据和S9所得的视差值计算各个像素点对应的相对距离 值， 取搜索范围内全部相对距离的最小值， 即为水下仿生蝠鲼机器鱼的相对距离， 最后综合 S6所得的方位估计， 即可估计出 水下仿生蝠鲼机器鱼的相对距离与方位。 2.根据权利要求1所述基于视觉的水下仿生蝠鲼机器鱼相对距离与方位估计方法， 其 特征在于： S1所述的类别标注与真实框标定： 以相机位于机器 鱼的方位为划分， 在水平 面标 注八个方位类别C， 其中： C0为左前侧、 C1为左后侧、 C2为右前侧、 C3为右后侧、 C4为前侧、 C5为 后侧、 C6为左侧、 C7为右侧； 真实框标定 内容为仿生蝠鲼机器鱼位于像素坐标系下的左上角 坐标(xleft， yleft)和右下角坐标(xright， yright)。 3.根据权利要求2所述基于视觉的水下仿生蝠鲼机器鱼相对距离与方位估计方法， 其 特征在于： S2所述的目标检测神经网络包括主干特征提取部分、 颈部特征汇 聚部分和 检测 头部分； 所述主干特征提取部 分由模块一和模块二组成， 模块一由三个卷积核 大小为3x3的 卷积层组成用于对输入的原始图像进 行维度与尺寸调整； 模块二由22个残差连接块以1∶2∶ 7∶8∶4的比例分段连接组成， 用于提取特征； 每个残差连接块由一个卷积核大小为3x3的卷 积层和一个作为残差连接并用于保证输入维度和输出维度一致的1x1卷积层组成； 分段连 接处穿插用于维度和图像尺寸二次调整的卷积核大小为3x3的卷积层， 记五个分段分别为 bloCk1～block5， 输入模块一处理后的图像， 各分段得到对应输出结果为out1～out5； 所述 颈部特征汇聚部分由三个上采样单元和三个汇聚单元组成， 将主干特征提取部分的输出 out2～out5， 即四份特征图， 进行上采样和汇聚操作； 所述检测头部分由三个分类检测头和 三个回归检测头组成， 其中每个分类检测头和每个回归检测头均由三个卷积核大小为3x3 的卷积层组成。 4.根据权利要求3所述基于视觉的水下仿生蝠鲼机器鱼相对距离与方位估计方法， 其权　利　要　求　书 1/3 页 2 CN 115170654 A 2特征在于： S3中 内参矩阵K： 其中， f焦距； dx像素x方向宽度； dy像素y方向宽度； f/dx使用像素来描述x轴方向焦距的 长度； f/dy使用像素来描述y轴方向焦距的长度； u0， v0主点的实际位置； 畸变参数D： D＝(k1， k2， k3， p1， p2) 其中， (k1， k2， k3)为径向畸变参数， (p1， p2)为切向畸变参数； 右相机相对于左相机的旋转矩阵R和平 移向量T： 其中， Rl， Tl为相机1经过单目标定 得到的相对标定物的旋转矩阵和平移向量， Rr， Tr为相 机2经过单目标定得到的相对标定物的旋转矩阵和平 移向量。 5.根据权利要求4所述基于视觉的水下仿生蝠鲼机器鱼相对距离与方位估计方法， 其 特征在于： S7计算公式如下： 其中， (xpl， ypl)为预测框左上角坐标， (xpr， ypr)为右下角坐标， (xc， yc)为预测框 中心点 坐标， S为预测框像素面积。 6.根据权利要求5所述基于视觉的水下仿生蝠鲼机器鱼相对距离与方位估计方法， 其 特征在于： S9计算公式如下： 其中， λ为搜索范围参数， (xc， yc)为预测框中心点， (xs， ys)为视差搜索像素 范围。 7.根据权利要求6所述基于视觉的水下仿生蝠鲼机器鱼相对距离与方位估计方法， 其 特征在于： S10计算公式如下： target＝mi n(Distance) 其中， Distance为各个像素点对应 的相对距离值， target为搜索范围内全部相对距离权　利　要　求　书 2/3 页 3 CN 115170654 A 3