(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210530861.5 (22)申请日 2022.05.16 (71)申请人 中国科学技术大学 地址 230041 安徽省合肥市包河区金寨路 96号 (72)发明人 阚震　李琳　李智军　王邵晨　 周章力　 (74)专利代理 机构 上海段和段律师事务所 31334 专利代理师 高璀璀 (51)Int.Cl. G06T 7/73(2017.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01)G06T 1/00(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) B25J 9/16(2006.01) B25J 15/08(2006.01) (54)发明名称 基于自监督表示学习的视觉抓取检测方法 及系统 (57)摘要 本发明提供了一种基于自监督表示学习的 视觉抓取检测方法及系统， 方法包括： 步骤1： 根 据获取到的深度图像， 得到有标注图像数据集和 无标注图像数据集； 步骤2： 在编码器中通过孪生 网络对无标注图像数据集进行训练， 并且通过度 量学习损失方法提取相似抓取对象之间的共同 特征； 步骤3： 利用有标注图像数据集对解码器进 行微调， 得到训练模型； 步骤4： 通过训练模型进 行视觉抓取。 与现有技术相比， 本发明通过各种 数据增强技术， 借助度量学习损失， 提取相似抓 取对象之间的共性， 提升了模型的泛化能力， 利 用已标注的数据对解码器进行微调， 从抓取质量 图和后续抓取规划生成的抓取位姿中推断出最 佳抓取候选， 从而提升 视觉抓取能力。 权利要求书2页 说明书7页 附图2页 CN 114820796 A 2022.07.29 CN 114820796 A 1.一种基于自监 督表示学习的视 觉抓取检测方法， 其特 征在于， 包括: 步骤1： 根据获取到的深度图像， 得到有标注图像数据集和无 标注图像数据集； 步骤2： 在编码器中通过孪生网络对所述无标注图像数据集进行训练， 并且通过度量学 习损失方法提取相似抓取对象之间的共同特 征； 步骤3： 利用所述有标注图像数据集对解码器进行微调， 得到训练模型； 步骤4： 通过 所述训练模型进行视 觉抓取。 2.根据权利要求1所述的基于自监督表示学习的视觉抓取检测方法， 其特征在于， 所述 步骤1， 包括： 步骤101： 通过3D相机获取 所述深度图像； 步骤102： 对所述深度图像中的第一部分进行 标注处理， 得到所述有标注图像数据集； 步骤103： 根据所述深度图像中的其 余部分， 得到所述无 标注图像数据集。 3.根据权利要求1所述的基于自监督表示学习的视觉抓取检测方法， 其特征在于， 所述 步骤2， 包括： 步骤201： 对所述无标注图像数据集中的深度图像进行数据增强处理后， 输入到孪生网 络进行训练， 得到增强图像； 步骤202： 利用度量学习的损失值 提取所述增强图像中相似抓取对象之间的共同特 征。 4.根据权利要求1所述的基于自监督表示学习的视觉抓取检测方法， 其特征在于， 所述 步骤3， 包括： 步骤301： 利用反向传播算法和梯度优化算法对所述有标注图像数据集进行微调， 得到 所述训练模型。 5.根据权利要求1所述的基于自监督表示学习的视觉抓取检测方法， 其特征在于， 所述 步骤4， 包括： 步骤401： 根据所述训练模型， 输入深度图像， 输出抓取质量图； 步骤402： 根据所述 抓取质量图， 得到抓取质量 点， 进行视 觉抓取。 6.一种基于自监 督表示学习的视 觉抓取检测系统， 其特 征在于， 包括: 模块M1： 根据获取到的深度图像， 得到有标注图像数据集和无 标注图像数据集； 模块M2： 在编码器中通过孪生网络对所述无标注图像数据集进行训练， 并且通过度量 学习损失方法提取相似抓取对象之间的共同特 征； 模块M3： 利用所述有标注图像数据集对解码器进行微调， 得到训练模型； 模块M4： 通过 所述训练模型进行视 觉抓取。 7.根据权利要求6所述的基于自监督表示学习的视觉抓取检测系统， 其特征在于， 所述 模块M1， 包括： 子模块M101： 通过3D相机获取 所述深度图像； 子模块M102： 对所述深度图像中的第一部分进行标注处理， 得到所述有标注图像数据 集； 模块M103： 根据所述深度图像中的其 余部分， 得到所述无 标注图像数据集。 8.根据权利要求6所述的基于自监督表示学习的视觉抓取检测系统， 其特征在于， 所述 模块M2， 包括： 子模块M201： 对所述无标注图像数据集中的深度图像进行数据增 强处理后， 输入到孪权　利　要　求　书 1/2 页 2 CN 114820796 A 2生网络进行训练， 得到增强图像； 子模块M202： 利用度量学习的损失值提取所述增强图像 中相似抓取对象之间的共同特 征。 9.根据权利要求6所述的基于自监督表示学习的视觉抓取检测系统， 其特征在于， 所述 模块M3， 包括： 子模块M301： 利用反向传播算法和梯度优化算法对所述有标注图像数据集进行微调， 得到所述训练模型。 10.根据权利要求6所述的基于自监督表示学习的视觉抓取检测系统， 其特征在于， 所 述模块M4， 包括： 子模块M401： 根据所述训练模型， 输入深度图像， 输出抓取质量图； 子模块M402： 根据所述 抓取质量图， 得到抓取质量 点， 进行视 觉抓取。权　利　要　求　书 2/2 页 3 CN 114820796 A 3