(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210739780.6 (22)申请日 2022.06.28 (71)申请人 重庆理工大 学 地址 400054 重庆市巴南区红光大道69号 (72)发明人 王勇　冯雨齐　李邑灵　 (74)专利代理 机构 成都东唐智 宏专利代理事务 所(普通合伙) 51261 专利代理师 晏辉 (51)Int.Cl. G06T 7/73(2017.01) G06T 7/66(2017.01) G06T 7/50(2017.01) B25J 19/00(2006.01) G06V 10/26(2022.01) G06V 10/774(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 基于循环多模态融合的机械臂抓取位姿检 测方法 (57)摘要 本发明涉及机械臂 抓取位姿检测技术领域， 尤其涉及基于循环多模态融合的机械臂抓取位 姿检测方法。 方法包括： 将同一物 体的RGB图像和 深度图像输入到两个并行的结构相同的多模态 特征提取模块； 不同隐藏层和最终输出层中提取 对应的不同级别的抽象特征； 将提取的抽象特征 通过投影块进行单独转换以投影到同一个公共 的特征空间中， 然后通过拼接模块将投影到同一 特征空间的特征向量进行拼接； 将拼接好的特征 向量输入循环神经网络进行多模态特征融合获 取更紧凑的多模态特征表示； 由三个卷积滤波器 来分别获得预测出的中心点位置、 抓取框的宽高 以及抓取框的旋转角度。 本发明相比去传统的方 法有着更好的姿态估计成功率和目标抓取成功 率。 权利要求书2页 说明书8页 附图2页 CN 115239807 A 2022.10.25 CN 115239807 A 1.基于循环多模态融合的机 械臂抓取位姿检测方法， 其特 征在于， 包括以下步骤： 将同一物体的RGB图像和深度图像输入到两个并行的结构相同的多模态特征提取模 块； 从不同隐藏层和最终输出层中提取对应的不同级别的抽象特 征； 将提取的抽象特征通过投影块进行单独转换以投影到同一个公共的特征空间中， 然后 通过拼接模块将投影到同一特 征空间的特 征向量进行拼接； 将拼接好的特征向量输入循环神经网络进行多模态特征融合获取更紧凑的多模态特 征表示； 由三个卷积滤波器来分别获得预测出的中心点位置、 抓取框的宽高以及抓取框的旋转 角度。 2.根据权利要求1所述的基于循环多模态融合的机械臂抓取位姿检测方法， 其特征在 于， 所述投影块的结构为： 第一个卷积层使用大小为7 ×7的过滤器， 利用输入的空间维度、 宽度和高度； 第二个卷积层使用大小为1 ×1的过滤器， 利用输入的深度。 3.根据权利要求1所述的基于循环多模态融合的机械臂抓取位姿检测方法， 其特征在 于， 其中， 进行多模态特 征融合获取多模态特 征表示， 表示 为： 式中， fi*表示从网络第i层中提取的RGB或深度特征， Gi(.)表示一组非线性操作， 即投 影块操作， 表示经过投影块处理后的RGB或深度特征， pi表示第i层的投影RGB和深度特征 拼接特征。 4.根据权利要求1所述的基于循环多模态融合的机械臂抓取位姿检测方法， 其特征在 于， 所述循环神经网络包括有门控循环单 元(GRU)。 5.根据权利要求1所述的基于循环多模态融合的机械臂抓取位姿检测方法， 其特征在 于， 所述检测方法的损失函数计算如下： 将抓取姿态估计 看作回归问题， 以平 滑函数作为回归损失函数， 损失函数表达式为： Smooth(.)函数表达式为： 其中， N表示可操作的抓取位姿数量， q表示抓取质量， w表示抓取矩形的长度， θ表示旋 转角度； 将θ 的取值区间用Sigmoid(.)激活函数进行变换到[0,1]的范围内； Smooth(.)函数 中， σ 表示平 滑区域的超参数， 取值 为1。 6.基于图像的循环多模态融合的机 械臂抓取位姿检测系统， 其特 征在于， 包括： 多模态特 征提取模块， 用于提取RGB图像和深度图像的不同级别的抽象特 征； 特征投影模块， 用于将多模态特征提取模块提取的抽象特征投影到同一个公共的特征 空间中；权　利　要　求　书 1/2 页 2 CN 115239807 A 2拼接模块， 用于将特 征投影模块投影的同一个公共的特 征空间的特 征进行拼接； 循环多模态融合模块， 用于将拼接模块连接好的特 征进行多模态特 征融合。 7.根据权利要求6所述的基于图像的循环多模态融合的机械臂抓取位姿检测系统， 其 特征在于， 所述多模态特 征提取模块采用ResNet ‑50深度神经网络 。权　利　要　求　书 2/2 页 3 CN 115239807 A 3