(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210620077.3 (22)申请日 2022.06.02 (71)申请人 盛视科技股份有限公司 地址 518000 广东省深圳市福田区华 富街 道莲花一村社区彩田路7018号新浩壹 都A4201-420 6 （整层） 、 43整层、 45整层 (72)发明人 莫家源　欧阳一村 　罗富章　 王和平　朱光强　邓奇宝　 (74)专利代理 机构 深圳市深软翰琪知识产权代 理有限公司 4 4380 专利代理师 吴雅丽 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01)G06T 7/73(2017.01) (54)发明名称 基于视觉的渣土车检测方法、 装置、 计算机 及存储介质 (57)摘要 本发明公开一种基于视觉的渣土车检测方 法、 装置、 计算机及存储介质， 涉及人工智能领 域， 包括： 获取渣土车图像数据集； 利用神经网络 的特征提取网络提取渣土车特征并生成特征图； 对特征图进行解耦划分为分类网络分支、 定位网 络分支并经卷积处理分别得到边界框的分类置 信度、 定位置信度； 将特征图和先验框输入神经 网络的预测网络中以得到预测框， 并将预测框作 为新的先验框和特征图再次输入神经网络的预 测网络以得到渣土车检测框； 利用渣土车图像数 据集验证神经网络以得到训练好的神经网络； 利 用训练好的神经网络对待检测图像进行检测以 判断待检测图像中是否包含渣土车； 若判断为 是， 则输出提示信息。 本发明可提高检测准确率， 降低漏检率。 权利要求书2页 说明书7页 附图2页 CN 115147642 A 2022.10.04 CN 115147642 A 1.一种基于 视觉的渣土车检测方法， 其特 征在于， 所述方法包括： 获取渣土车图像数据集； 利用深度卷积神经网络的特征提取网络提取所述渣土车图像数据集中的渣土车特征 并生成特 征图； 对所述特征图进行解耦划分为分类网络分支、 定位网络分支并经卷积处理分别得到边 界框的分类置信度、 定位置信度； 通过获取高置信度的边界框以作为先验框； 将所述特征图和所述先验框输入所述深度 卷积神经网络的预测网络 中以得到预测框， 并将所述预测框作为新的先验框和所述特征图再次输入所述深度卷积神经网络的预测网 络以得到渣土车检测框； 利用所述渣土车图像数据集验证所述深度卷积神经网络以得到训练好的深度卷积神 经网络； 利用所述训练好的深度卷积神经网络对待检测图像进行检测以判断待检测图像中是 否包含渣土车； 若判断为是， 则输出提 示信息。 2.如权利要求1所述基于视觉的渣土车检测方法， 其特征在于， 所述利用深度 卷积神经 网络的特征提取网络提取所述渣土车图像样本中的渣土车特征并生成特征图之前， 所述方 法包括： 对所述渣土车数据集进行标签处理和/或数据增强处理， 其中， 所述标签处理包括保留 宽度和高度大于预设像素值的渣土车真实框； 所述数据增强处理至少如下 处理中的一种或 多种： 对图像进行裁 剪、 翻转、 扭曲及亮度调整。 3.如权利要求1所述基于视觉的渣土车检测方法， 其特征在于， 所述利用深度 卷积神经 网络的特 征提取网络提取 所述渣土车图像数据集中的渣土车 特征并生成特 征图包括： 利用所述利用深度卷积神经网络的特征提取网络提取所述渣土车图像数据集中的渣 土车特征并生成三个不同尺寸的输出 特征图。 4.如权利要求3所述基于视觉的渣土车检测方法， 其特征在于， 所述对所述特征图进行 解耦划分为分类网络分支、 定位网络分支并经卷积处理分别得到边界框的分类置信度、 定 位置信度包括： 利用1×1卷积层对所述输出 特征图进行降维以得到一低维特 征图； 将所述低维特征图输入所述分类网络分支、 所述定位网络分支以得到相应的分类置信 度和定位置信度。 5.如权利要求3所述基于视觉的渣土车检测方法， 其特征在于， 所述利用所述训练好的 深度卷积神经网络对待检测图像进行检测以判断待检测图像中是否包 含渣土车包括： 利用所述渣土车检测框对待检测图像进行检测； 采用非极大值抑制算法获取最佳的目标边界框； 判断所述目标边界框内的内容是否包 含渣土车。 6.如权利要求1所述基于视觉的渣土车检测方法， 其特征在于， 所述深度 卷积神经网络 基于YOLO模型架构； 所述特征提取网络采用mobilenet ‑v2网络； 所述深度卷积神经网络采 用的卷积神经网络中， 采用Focal  Loss函数作为分类损失函数， 采用G ‑IOU Loss函数作为 定位损失函数；权　利　要　求　书 1/2 页 2 CN 115147642 A 2所述Focal  Loss函数满足如下关系式： 其中， y～是经过激活函数的输出， 在0 ‑1之间； α 是用于平衡正负样本本身的比例不匀的 平衡因子； γ是用于减少易分类样本的损失； 所述G‑IOU Loss函数满足如下关系式： 其中， G和P分别表示真实框和预测框； C表示G与P的最小闭包矩形。 7.一种基于 视觉的渣土车检测装置， 其特 征在于， 所述装置包括： 获取模块， 用于获取渣土车图像数据集； 特征提取模块， 用于利用深度 卷积神经网络的特征提取网络提取所述渣土车图像数据 集中的渣土车 特征并生成特 征图； 解耦划分模块， 用于对所述特征图进行解耦划分为分类网络分支、 定位网络分支并经 卷积处理分别得到边界框的分类置信度、 定位置信度； 通过获取高置信度的边界框以作为 先验框； 检测框生成模块， 用于将所述特征图和所述先验框输入所述深度 卷积神经网络的预测 网络中以得到预测框， 并将所述预测框作为新的先验框和所述特征图再次输入所述深度卷 积神经网络的预测网络以得到渣土车检测框； 训练模块， 用于利用所述渣土车图像数据集验证所述深度 卷积神经网络以得到训练好 的深度卷积神经网络； 检测模块， 用于利用所述训练好的深度卷积神经网络对待检测图像进行检测以判断待 检测图像中是否包 含渣土车； 输出模块， 用于在判断为是时， 输出提 示信息。 8.如权利要求7所述基于视觉的渣土车检测装置， 其特征在于， 还包括数据处理模块， 用于对所述渣土车数据集进 行标签处理和/或数据增强处理， 其中， 所述标签处理包括保留 宽度和高度大于预设像素值的渣土车真实框； 所述数据增强处理至少如下 处理中的一种或 多种： 对图像进行裁 剪、 翻转、 扭曲及亮度调整。 9.一种计算机， 其特征在于， 所述计算机包括处理器， 所述处理器用于执行存储器 中存 储的计算机程序时实现如权利要求 1‑6中任意一项 所述基于视觉的渣土车检测方法中的步 骤。 10.一种可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序被处理 器执行时实现如权利要求1 ‑6中任意一项所述基于 视觉的渣土车检测方法的步骤。权　利　要　求　书 2/2 页 3 CN 115147642 A 3