(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210517041.2 (22)申请日 2022.05.13 (71)申请人 未来机器人 （深圳） 有限公司 地址 518000 广东省深圳市福田保税区红 柳道1号中科智 宏大厦6楼6 01-602 (72)发明人 王琛　李陆洋　方牧　鲁豫杰　 杨秉川　 (74)专利代理 机构 华进联合专利商标代理有限 公司 44224 专利代理师 赖远龙 (51)Int.Cl. G06T 7/73(2017.01) G06T 7/80(2017.01) G06T 1/00(2006.01) (54)发明名称 托盘堆叠方法、 装置、 计算机设备和计算机 可读存储介质 (57)摘要 本申请涉及一种托盘堆叠方法、 装置、 计算 机设备和存储介质。 包括： 当搬运设备进行托盘 堆叠处理时， 通过图像采集设备采集待堆叠托盘 上第一定位参照对象和被堆叠托盘上第二定位 参照对象的图像内容； 根据图像内容确定第一定 位参照对象和第二定位参照对象分别相较图像 采集设备的相对位置信息； 根据相对位置信息确 定待堆叠托盘和被堆叠托盘的位姿差， 控制搬运 设备对待堆叠托盘进行托盘堆叠处理。 本申请通 过在托盘上设置定位参照对象， 对图像内容进行 分析得出第一定位参照对象第二定位参照对象 分别与图像采集设备的相对姿态， 根据相对姿态 来反推待堆叠托盘和被堆叠托盘的位姿差， 根据 位姿差控制搬运设备完成托盘堆叠， 本申请能够 提高托盘堆叠的准确率。 权利要求书2页 说明书14页 附图6页 CN 114882112 A 2022.08.09 CN 114882112 A 1.一种托盘堆叠方法， 其特 征在于， 所述方法包括： 通过图像采集设备采集目标图像； 所述目标图像中包括待堆叠托盘上的第 一定位参照 对象的第一图像内容和被堆叠托盘上的第二定位 参照对象的第二图像内容； 根据所述第一图像内容确定所述第一定位参照对象相较于所述图像采集设备的相对 位置信息， 以及根据所述第二图像内容确定所述第二定位参照对象相较于所述图像采集设 备的相对位置信息； 根据所述第一定位参照对象和所述第二定位参照对象分别相较于所述图像采集设备 的相对位置信息， 确定所述待堆叠托盘和所述被堆叠托盘之间的位姿差； 根据所述 位姿差控制搬运设备对所述待堆叠托盘进行托盘堆叠处 理。 2.根据权利要求1所述的方法， 其特征在于， 所述根据所述第 一图像内容确定所述第 一 定位参照对象相较于所述图像采集设备的相对位置信息， 以及根据所述第二图像内容确定 所述第二定位 参照对象相较于所述图像采集设备的相对位置信息， 包括： 分别对所述第 一图像内容和所述第 二图像内容进行特征检测， 得到所述第 一定位参照 对象和所述第二定位 参照对象各自对应的特 征集； 针对所述第 一定位参照对象和所述第 二定位参照对象中的每一个定位参照对象， 根据 所述图像采集设备的图像采集设备内参和所述定位参照对象对应的特征集， 得到所述定位 参照对象相较于所述图像采集设备的相对位置信息 。 3.根据权利要求2所述的方法， 其特征在于， 所述分别对所述第 一图像内容和所述第 二 图像内容进行特征检测， 得到所述第一定位参照对象和所述第二定位参照对象各自对应的 特征集， 包括： 分别对所述第 一图像内容和所述第 二图像内容进行轮廓 提取， 得到所述第 一定位参照 对象对应的第一图像 轮廓和所述第二定位 参照对象对应的第二图像 轮廓； 分别对所述第 一图像轮廓和所述第 二图像轮廓进行特征提取， 得到所述第 一定位参照 对象和所述第二定位 参照对象各自对应的特 征集。 4.根据权利要求2所述的方法， 其特征在于， 所述相对位置信 息包括所述定位参照对象 相对于所述图像采集设备的外参矩阵， 所述定位参照对象对应的特征集包括所述定位参照 对象的多个特 征点； 所述针对所述第一定位参照对象和所述第 二定位参照对象中的每一个定位参照对象， 根据所述图像采集设备的图像采集设备内参和所述定位参照对象对应的特征集， 得到所述 定位参照对象相较于所述图像采集设备的相对位置信息， 包括： 针对所述第 一定位参照对象和所述第 二定位参照对象中的每一个定位参照对象， 根据 所述定位参照对象对应的每一所述特征点在像素坐标系下的像素坐标、 每一所述特征点在 所述基于所述定位参照对 象构建的三维坐标系 下的坐标、 以及所述图像采集设备内参， 计 算得到所述定位 参照对象相对于所述图像采集设备的外参矩阵； 其中， 所述基于所述定位参照对象构建的三维坐标系， 是以所述定位参照对象所在平 面为坐标平面， 以所述定位参照对象的多个特征点中的其中一个为坐标原 点构建的三维坐 标系。 5.根据权利要求4所述的方法， 其特征在于， 所述第 一定位参照对象相较于所述图像采 集设备的相对位置信息包括第一外参矩阵； 所述第二定位参照对象相较于所述图像采集设权　利　要　求　书 1/2 页 2 CN 114882112 A 2备的相对位置信息包括第二外参矩阵； 所述根据所述第一定位参照对象和所述第二定位参 照对象分别相较于所述图像采集设备的相对位置信息， 确定所述待堆叠托盘和所述被堆叠 托盘之间的位姿差， 包括： 所述第二外参矩阵的逆矩阵乘以所述第 一外参矩阵， 得到所述第 一定位参照对象相对 于所述第二定位 参照对象的第三外参矩阵； 根据所述第三外参矩阵， 得到所述 位姿差。 6.根据权利要求4所述的方法， 其特征在于， 所述图像采集设备固定于所述搬运设备 上； 所述第一定位参照对 象为所述待堆叠托盘上设置的第一二维码； 所述第二定位参照对 象为所述被堆叠托盘上设置的第二二 维码； 所述第一二 维码的多个特征点包括所述第一二 维码的至少三个边界角点； 所述第二二 维码的多个特征点包括所述第二二维码的至少三个 边界角点。 7.根据权利要求1至6任一项所述的方法， 其特征在于， 所述根据所述位姿差控制所述 搬运设备对所述待堆叠托盘进行托盘堆叠处 理， 包括： 根据所述 位姿差， 得到所述图像采集设备与所述被堆叠托盘的相对位姿； 若所述相对位姿不处于预设位姿范围， 则根据所述相对位姿调整所述搬运设备当前的 姿态， 并在调整所述搬运设备 的姿态后， 返回执行所述通过图像采集设备采集目标图像的 步骤。 8.一种托盘堆叠装置， 其特 征在于， 所述装置包括： 图像采集模块， 用于通过图像采集设备采集目标图像； 所述目标图像中包括待堆叠托 盘上的第一定位参照对 象的第一图像内容和被堆叠托盘上的第二定位参照对 象的第二图 像内容； 信息获取模块， 用于根据所述第 一图像内容确定所述第 一定位参照对象相较于所述图 像采集设备的相对位置信息， 以及根据所述第二图像内容确定所述第二定位参照对象相较 于所述图像采集设备的相对位置信息； 位姿计算模块， 用于根据所述第 一定位参照对象和所述第 二定位参照对象分别相较于 所述图像采集设备的相对位置信息， 确定所述待堆叠托盘和所述被堆叠托盘之间的位姿 差； 托盘堆叠模块， 用于根据所述位姿差控制搬运设备对所述待堆叠托盘进行托盘堆叠处 理。 9.一种计算机设备， 包括存储器和处理器， 所述存储器存储有计算机程序， 其特征在 于， 所述处 理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。权　利　要　求　书 2/2 页 3 CN 114882112 A 3