(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211533598.1 (22)申请日 2022.12.02 (71)申请人 深圳海星智驾科技有限公司 地址 518110 广东省深圳市龙华区观湖街 道鹭湖社区澜清一路6号1号研发楼 801 (72)发明人 王发平　李世行　李南星　 (74)专利代理 机构 北京三聚阳光知识产权代理 有限公司 1 1250 专利代理师 胡晓静 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/62(2017.01) G06T 7/70(2017.01) G06T 7/80(2017.01) (54)发明名称 一种托盘 检测方法、 装置、 设备及存 储介质 (57)摘要 本发明提供了一种托盘检测方法、 装置、 设 备及存储介质， 方法包括： 获取包含有目标托盘 的第一图像； 对第一图像进行目标检测和关键点 检测， 得到目标托盘上各关键点的图像位置； 将 第一图像输入深度估计模型， 得到第一图像对应 的深度图像； 基于目标托盘上各关键点的图像位 置， 确定第一图像中目标托盘横杆的图像位置， 并从深度图中提取横杆的深度数据； 基于横杆的 图像位置及其对应的深度数据， 利用第一图像对 应图像采集设备的设备内参计算横杆的三维坐 标； 基于横杆的三维坐标分别计算目标托盘相对 图像采集设备的偏移角度及目标托盘的插孔中 心位置。 解决了托盘检测准确性低的问题， 并且 成本低、 具有良好的泛化能力， 抗干扰能力更强， 鲁棒性更好。 权利要求书2页 说明书8页 附图6页 CN 115546216 A 2022.12.30 CN 115546216 A 1.一种托盘 检测方法， 其特 征在于， 包括： 获取包含有目标托盘的第一图像； 对所述第一图像进行目标检测和关键点检测， 得到所述目标托盘上各关键点的图像位 置； 将所述第一图像输入深度估计模型， 得到所述第一图像对应的深度图像； 基于所述目标托盘上各关键点的图像位置， 确定所述第 一图像中所述目标托盘横杆的 图像位置， 并从所述深度图中提取横杆的深度数据； 基于横杆的图像位置及其对应的深度 数据， 利用所述第 一图像对应图像采集设备的设 备内参计算横杆的三维坐标； 基于横杆的三维坐标分别计算所述目标托盘相对所述图像采集设备的偏移角度及所 述目标托盘的插孔中心位置 。 2.根据权利要求1所述的方法， 其特征在于， 所述基于横杆的三维坐标计算所述目标托 盘相对所述图像采集设备的偏移角度， 包括： 将横杆的三维坐标转换为鸟瞰图模式， 以平行于图像采集设备平面为X轴， 图像采集设 备到目标托盘的距离为Z轴， 以X ‑Z轴的数据进行直线拟合； 基于直线拟合结果计算所述目标托盘相对所述图像采集设备的偏移角度。 3.根据权利要求1所述的方法， 其特征在于， 所述基于横杆的三维坐标， 计算所述目标 托盘的插孔中心位置， 包括： 基于横杆的三维坐标， 计算各关键点的三维坐标； 基于各关键点的三维坐标， 计算所述目标托盘的插孔中心位置 。 4.根据权利要求3所述的方法， 其特征在于， 所述基于横杆的三维坐标， 计算各关键点 的三维坐标， 包括： 基于各关键点的位置确定各关键点对应的位置区域； 从横杆的三维坐标中提取 各位置区域对应的三维坐标； 计算当前位置区域的三维坐标均值， 并将当前三维坐标均值确定为所述当前位置区域 对应关键点的三维坐标。 5.根据权利要求1所述的方法， 其特征在于， 所述对所述第 一图像进行目标检测和关键 点检测， 得到所述目标托盘上 各关键点的图像位置， 包括： 对所述第一图像进行目标检测得到所述目标托盘对应的第二图像； 对所述第二图像进行关键点检测， 得到所述目标托盘上 各关键点的图像位置 。 6.根据权利要求1所述的方法， 其特 征在于， 所述深度估计模型的训练过程包括： 利用所述图像采集设备采集托盘图像， 并利用激光雷达采集所述托盘图像对应时间戳 的点云数据； 对所述图像采集设备和所述激光雷达进行标定后， 将所述点云数据投影到所述托盘图 像上， 得到所述 托盘图像中每 个像素点的深度数据； 利用不同的所述托盘图像及其每个像素点的深度 数据对单目深度估计模型进行训练， 得到训练好的深度估计模型。 7.根据权利要求1所述的方法， 其特征在于， 所述从所述深度图中提取横杆的深度数 据， 包括：权　利　要　求　书 1/2 页 2 CN 115546216 A 2基于所述第 一图像中所述目标托盘横杆的图像位置， 生成与所述第一图像等大的mask 图； 将所述mask图与所述深度图进行 逐像素相乘， 确定所述横杆的深度数据。 8.一种托盘 检测装置， 其特 征在于， 包括： 获取模块， 用于获取包 含有目标托盘的第一图像； 第一处理模块， 用于对所述第一图像进行目标检测和关键点检测， 得到所述目标托盘 上各关键点的图像位置； 第二处理模块， 用于将所述第一图像输入深度估计模型， 得到所述第一图像对应的深 度图像； 第三处理模块， 用于基于所述目标托盘上各关键点的图像位置， 确定所述第一图像中 所述目标托盘横杆的图像位置， 并从所述深度图中提取横杆的深度数据； 第四处理模块， 用于基于横杆的图像位置及其对应的深度数据， 利用所述第一图像对 应图像采集设备的设备内参计算横杆的三维坐标； 第五处理模块， 用于基于横杆的三维坐标分别计算所述目标托盘相对所述图像采集设 备的偏移角度及所述目标托盘的插孔中心位置 。 9.一种计算机可读存储介质， 其特征在于， 计算机可读存储介质存储计算机指令， 计算 机指令被处 理器执行时实现如权利要求1 ‑7中任一项所述的方法。 10.一种电子设备， 其特 征在于， 包括： 存储器和处理器， 存储器和处理器之间互相通信连接， 存储器中存储有计算机指令， 处 理器通过 执行计算机指令， 以执 行如权利要求1 ‑7中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115546216 A 3