(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210626390.8 (22)申请日 2022.06.02 (71)申请人 河南讯飞人工智能科技有限公司 地址 450002 河南省郑州市金 水区宝瑞路 115号河南省信息安全产业 示范园4号 (72)发明人 闫润强　李旭强　蒋茁　杨梓钰　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 吕伟盼 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/73(2017.01) G06T 7/55(2017.01) G06V 20/68(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06V 10/40(2022.01) G06V 10/764(2022.01) G06N 3/04(2006.01) (54)发明名称 果实检测方法、 装置、 电子设备和存 储介质 (57)摘要 本发明提供一种果实检测方法、 装置、 电子 设备和存储介质， 其中方法包括:获取待识别果 实区域的二维图像， 以及待识别果实区域的点云 图像； 对二维图像的图像特征和点云图像的点云 特征进行融合， 得到融合特征， 图像特征用于表 征二维图像中果实的位置信息； 基于融合特征进 行果实检测， 得到待识别果实区域中果实的空间 位置。 本发 明将二维图像的图像特征与点云图像 的点云特征进行融合， 可以通过二维图像的图像 特征弥补果实的边缘特征和表 面特征， 从而增强 点云特征的表征能力， 以使进行果实检测的融合 特征考虑二维图像中果实的位置信息， 从而确保 融合特征能够更加完整地反映果实的位置信息， 进而提高果实检测的准确性。 权利要求书3页 说明书20页 附图3页 CN 115018789 A 2022.09.06 CN 115018789 A 1.一种果实检测方法， 其特 征在于， 包括： 获取待识别果实区域的二维图像， 以及所述待识别果实区域的点云图像； 对所述二维图像的图像特征和所述点云图像的点云特征进行融合， 得到融合特征， 所 述图像特 征用于表征 所述二维图像中果实的位置信息； 基于所述融合特 征进行果实检测， 得到所述待识别果实区域中果实的空间位置 。 2.根据权利要求1所述的果实检测方法， 其特征在于， 所述对所述二维图像的图像特征 和所述点云图像的点云特 征进行融合， 得到融合特 征， 包括： 获取所述二维图像在至少两个层级下的图像特 征； 将所述点云图像在 当前层级下的点云特征， 与 所述至少两个层级中至少一个层级下的 图像特征进行融合， 得到当前层级下的交叉 特征； 对所述当前层级下的交叉特征进行特征提取， 得到下一层级下的点云特征， 并将所述 下一层级作为所述当前层级， 直至所述当前层级为 最后一个层级； 基于所述 最后一个层级下的点云特 征， 确定所述融合特 征。 3.根据权利要求2所述的果实检测方法， 其特征在于， 所述将所述点云图像在当前层级 下的点云特征， 与所述至少 两个层级中至少一个层级下 的图像特征进行融合， 得到当前层 级下的交叉 特征， 包括： 基于所述至少两个层级中至少一个层级下的图像特征， 确定所述至少一个层级下的图 像特征对应的融合权 重； 基于所述至少一个层级下的图像特征对应的融合权重， 分别对所述当前层级下的点云 特征进行特征增强处 理， 得到所述至少一个层级下的图像特 征对应的增强特 征； 将所述至少一个层级下的图像特征对应的增强特征分别与所述当前层级下的点云特 征进行特征融合， 得到所述至少一个层级下的图像特 征对应的交叉融合特 征； 将所述至少一个层级下的图像特征对应的交叉融合特征进行特征融合， 得到所述当前 层级下的交叉 特征。 4.根据权利要求1所述的果实检测方法， 其特征在于， 所述对所述二维图像的图像特征 和所述点云图像的点云特 征进行融合， 得到融合特 征， 包括： 获取所述二维图像在一个层级下的图像特 征； 将所述点云图像在当前层级下的点云特征， 与所述一个层级下的图像特征进行融合， 得到当前层级下的交叉 特征； 对所述当前层级下的交叉特征进行特征提取， 得到下一层级下的点云特征， 并将所述 下一层级作为所述当前层级， 直至所述当前层级为 最后一个层级； 基于所述 最后一个层级下的点云特 征， 确定所述融合特 征。 5.根据权利要求2或4所述的果实检测方法， 其特征在于， 所述点云图像在首个层级下 的点云特 征基于如下步骤确定： 基于所述点云图像的采集设备的内参矩阵和外参矩阵， 将所述点云图像转换为二维伪 图像； 基于所述 二维伪图像， 确定所述 点云图像在首个层级下的点云特 征。 6.根据权利要求1至4中任一项所述的果实检测方法， 其特征在于， 所述获取待识别果 实区域的二维图像， 之后还 包括：权　利　要　求　书 1/3 页 2 CN 115018789 A 2基于腐烂区域检测模型， 对所述二维图像的图像特征进行腐烂区域检测， 得到果实腐 烂区域； 所述腐烂区域检测模型是基于标注有果实区域的第 一样本二维图像， 以及标注有果实 区域和腐烂区域的第二样本二维图像训练得到的。 7.根据权利要求6所述的果实检测方法， 其特征在于， 所述基于腐烂区域检测模型， 对 所述二维图像的图像特 征进行腐烂区域检测， 得到果实腐烂区域， 包括： 基于所述腐烂区域检测模型中的多通道特征提取层， 对所述图像特征进行多通道特征 提取， 得到 至少两个通道的通道特 征； 基于所述腐烂区域检测模型中的特征融合层， 对所述至少两个通道的通道特征进行加 权融合， 得到融合图像特 征； 基于所述腐烂区域检测模型中的语义分割层， 对所述融合图像特征进行腐烂区域分 割， 得到所述 果实腐烂区域。 8.根据权利要求6所述的果实检测方法， 其特征在于， 所述基于腐烂区域检测模型， 对 所述二维图像的图像特 征进行腐烂区域检测， 得到果实腐烂区域， 之后还 包括： 获取所述空间位置对应的第一置信度， 以及所述 果实腐烂区域对应的第二置信度； 在所述第一置信度大于第一阈值， 且所述第二置信度大于第二阈值的情况下， 确定果 实为腐烂的果实； 在所述第一置信度小于或等于第 一阈值， 且确定所述第 二置信度 大于第二阈值的情况 下， 确定果实存在； 在所述第一置信度小于或等于第 一阈值， 且确定所述第 二置信度小于或等于第 二阈值 的情况下， 确定果实不存在； 在所述第一置信度大于第 一阈值， 且确定所述第 二置信度小于或等于第 二阈值的情况 下， 确定果实无腐烂区域。 9.根据权利要求1至4中任一项所述的果实检测方法， 其特征在于， 所述基于所述融合 特征进行果实检测， 得到所述待识别果实区域中果实的空间位置， 包括： 基于所述融合特 征， 进行果实位置检测， 得到果实区域； 基于所述果实区域和所述点云图像的深度信 息， 确定所述待识别果实区域中果实的空 间位置。 10.一种果实检测装置， 其特 征在于， 包括： 获取模块， 用于获取待识别果实区域的二维图像， 以及所述待识别果实区域的点云图 像； 融合模块， 用于对所述二维图像的图像特征和所述点云图像的点云特征进行融合， 得 到融合特 征， 所述图像特 征用于表征 所述二维图像中果实的位置信息； 检测模块， 用于基于所述融合特征进行果实检测， 得到所述待识别果实区域中果实的 空间位置 。 11.一种电子设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上运 行的计算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求1至9任一项所 述果实检测方法。 12.一种非暂态计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算权　利　要　求　书 2/3 页 3 CN 115018789 A 3