(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210737658.5 (22)申请日 2022.06.27 (71)申请人 华东理工大 学 地址 200237 上海市徐汇区梅陇路13 0号 (72)发明人 和望利　杜文莉　钱锋　 (74)专利代理 机构 上海专利商标事务所有限公 司 31100 专利代理师 陶玉龙 (51)Int.Cl. G06T 7/73(2017.01) G06T 11/00(2006.01) G01C 21/00(2006.01) (54)发明名称 基于视觉传感器的多移动机器人协作建图 方法及系统 (57)摘要 本发明涉及移动机器人定位与地图构建技 术领域， 更具体的说， 涉及一种基于视觉传感器 的多移动机器人协作建图方法及系统。 本方法， 包括以下步骤： 步骤S1、 相机标定； 步骤S2、 各子 机器人分别独立运行视觉SLA M算法， 获得自身 位 姿和局部地图； 步骤S3、 各子机器人将自身数据 传输至服务端； 步骤S4、 服务端进行地图重叠区 域检测； 步骤S5、 服务端计算得出局部地图和全 局地图之间的变换矩阵； 步骤S6、 服务端将局部 地图融合转换至全局地图； 步骤S7、 服务端将全 局地图数据发送至各子机器人； 步骤S8、 子机器 人更新本地局部地图数据。 本发 明可实现移动机 器人在未知大范围环境下的自主地图构建， 克服 了单移动机器人建图效率低下的问题， 系统可用 性及鲁棒 性强。 权利要求书2页 说明书8页 附图5页 CN 115131434 A 2022.09.30 CN 115131434 A 1.一种基于 视觉传感器的多移动机器人协作建图方法， 其特 征在于， 包括以下步骤： 步骤S1、 相机标定， 获取相机内参数及畸变参数； 步骤S2、 各子 机器人分别独立 运行视觉SLAM算法， 获得自身位姿和 局部地图； 步骤S3、 各子机器人采用多机器人通讯机制将自身数据传输至服务端， 所述多机器人 通讯机制基于ROS系统设计实现； 步骤S4、 服务端基于公共区域相似性原理进行地图重叠区域检测， 建立各子机器人的 局部地图之间的数据关联； 步骤S5、 服 务端构建PNP问题， 计算得 出局部地图和全局地图之间的变换矩阵； 步骤S6、 服 务端将局部地图融合 转换至全局地图， 并进行全局集束优化； 步骤S7、 服 务端采用多机器人通讯机制将全局地图数据发送至各子 机器人； 步骤S8、 子机器人接收全局地图数据并进行解析， 更新子 机器人的本地局部地图数据。 2.根据权利要求1所述的基于视觉传感器的多移动机器人协作建图方法， 其特征在于， 所述步骤S1， 进一 步包括： 采用ROS系统中的相机标定 工具包获取相机内参数以及相机畸变参数。 3.根据权利要求1所述的基于视觉传感器的多移动机器人协作建图方法， 其特征在于， 所述步骤S2， 进一 步包括： 子机器人搭载RGB ‑D相机对输入图像提取ORB 特征点， 在位姿跟踪线程中进行恒速模型 估计、 参考关键帧估计以及重 定位步骤， 初步计算出相机位姿， 获得自身位姿数据； 子机器人在局部建图线程中根据所新建的关键帧， 增加局部地图点数目， 关键帧之间 重新进行特征匹配， 将未匹配的特征点插入到全局地图中， 生成新的地图点， 获得局部点云 地图。 4.根据权利要求3所述的基于视觉传感器的多移动机器人协作建图方法， 其特征在于， 所述步骤S2， 进一 步包括： 子机器人在闭环检测线程中对所有的图像关键帧进行位姿优化。 5.根据权利要求1所述的基于视觉传感器的多移动机器人协作建图方法， 其特征在于， 所述步骤S3， 进一 步包括： 各子机器人发布自身的关键帧和 局部地图数据至服 务端； 服务端通过订阅关键帧和地图数据的话题接收各子 机器人发布数据。 6.根据权利要求1所述的基于视觉传感器的多移动机器人协作建图方法， 其特征在于， 所述步骤S4， 进一 步包括： 步骤S41、 服 务端加载视 觉词袋模型， 初始化全局地图数据； 步骤S42、 基于公共区域相似性原理确定各子机器人的局部地图之间的相似关键帧和 候选关键帧。 7.根据权利要求6所述的基于视觉传感器的多移动机器人协作建图方法， 其特征在于， 所述步骤S41， 进一 步包括： 服务端在初始化全局地图数据时加载视 觉词袋模型； 检查当前地图数据是否为空， 直到接收到第 一帧由子机器人端传输过来的地图数据时 确定全局坐标系， 全局坐标系与所接收到第一帧地图数据对应的子机器人端的局部坐标系 保持一致。权　利　要　求　书 1/2 页 2 CN 115131434 A 28.根据权利要求6所述的基于视觉传感器的多移动机器人协作建图方法， 其特征在于， 所述步骤S42， 进一 步包括： 服务端对接收到的所有关键帧迭代遍历， 并在存储全局地图关键帧的字典树中进行挑 选； 选择一定数量的与当前全局地图关键帧具有相同特征的关键帧作为相似关键帧， 在相 似关键帧基础上根据地图点数目确定候选关键帧。 9.根据权利要求1所述的基于视觉传感器的多移动机器人协作建图方法， 其特征在于， 所述步骤S5， 进一 步包括： 服务端遍历候选关键帧集合， 对每个候选关键帧与当前全局地图关键帧之间构建PNP 问题， 计算出当前候选关键帧在全局 坐标系下的位姿， 结合候选关键 帧在局部坐标下 的位 姿， 计算出局部地图与全局地图之间的变换矩阵。 10.根据权利要求1所述的基于视觉传感器的多移动机器人协作建图方法， 其特征在 于， 所述步骤S6， 进一 步包括： 利用步骤S5获得的变换矩阵， 将局部地图中的所有关键帧和地图点数据转换到全局地 图坐标系下； 对全局地图中所有关键帧和所有地图点进行全局集束优化。 11.根据权利要求1所述的基于视觉传感器的多移动机器人协作建图方法， 其特征在 于， 所述步骤S7， 进一 步包括： 服务端将全局地图中的关键帧数据和地图点数据进行序列化， 并进行 数据包的拆分； 服务端基于多机器人通讯机制发布数据包的话题。 12.根据权利要求1所述的基于视觉传感器的多移动机器人协作建图方法， 其特征在 于， 所述步骤S8， 进一步包括： 各个子机器人基于多机器人通讯机制进行接收地图数据； 各子机器人端对接收的地图数据进行反序列化从而得到对应的格式数据； 各子机器人利用变换矩阵将全局地图数据 添加到自己局部地图的参考坐标系下， 实现 本地局部地图的实时更新。 13.一种基于视觉传感器的多移动机器人协作建图系统， 其特征在于， 包括多个子机器 人和服务端： 所述多个子 机器人， 分别与服 务端通信进行 数据交互， 所述多个子 机器人和服 务端， 用于实现如权利要求1 ‑12任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115131434 A 3