(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210569327.5 (22)申请日 2022.05.24 (71)申请人 五邑大学 地址 529000 广东省江门市蓬江区东成村 22号 (72)发明人 王前选　王锐锋　刘成沛　李虎　 曹航　黄尊地　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 冯健良 (51)Int.Cl. G06T 7/00(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/73(2017.01)G06V 10/25(2022.01) G06V 10/26(2022.01) G06V 10/77(2022.01) G06V 10/82(2022.01) (54)发明名称 基于深度学习的两级检测螺栓松动的方法、 装置及介质 (57)摘要 本发明公开了基于深度学习的两级检测螺 栓松动的方法、 装置及介质， 其中方法包括获取 螺栓图像； 将螺栓图像输入至第一网络， 对螺栓 图像中的螺栓区域进行定位； 对螺栓区域进行裁 剪得到待测图像， 待测图像包括螺栓表面的第一 标记和螺栓安装部表面的第二标记； 将待测图像 输入至第二网络， 对第一标记和所述第二标记的 相对位置进行检测， 得到螺栓松动情况结果； 实 现了集中关注螺栓的特征信息， 提高了对小目标 的定位能力； 同时利用语义分割更加精准识别第 一标记和第二标记， 提高了 检测精度。 权利要求书2页 说明书7页 附图3页 CN 115018774 A 2022.09.06 CN 115018774 A 1.基于深度学习的两级检测螺 栓松动的方法， 其特 征在于， 包括： 获取螺栓图像； 将所述螺 栓图像输入至第一网络， 对所述螺 栓图像中的螺 栓区域进行定位； 对所述螺栓区域进行裁剪得到待测图像， 所述待测图像包括螺栓、 螺栓表面的第一标 记、 螺栓安装部、 螺 栓安装部表面的第二标记； 将所述待测图像输入至第 二网络， 对所述第 一标记和所述第 二标记的相对位置进行检 测， 得到螺栓松动情况 结果。 2.根据权利要求1所述的基于深度学习的两级检测螺栓松动的方法， 其特征在于， 所述 将所述螺 栓图像输入至第一网络， 对所述螺 栓图像中的螺 栓区域进行定位， 包括： 通过第一特征提取网络对所述螺栓图像进行基于注意力 机制的特征提取， 得到多个不 同尺寸的第一特 征图像； 对于每个所述第一特 征图像， 在所述第一特 征图像的每 个点上构造多个边界框； 将所有所述 边界框通过极大值抑制法进行筛 选， 得到所述螺 栓图像中的螺 栓区域。 3.根据权利要求2所述的基于深度学习的两级检测螺栓松动的方法， 其特征在于， 所述 第一特征提取网络包括多个残差结构； 所述通过第一特征提取网络对所述螺栓图像进 行基 于注意力机制的特 征提取， 得到多个不同尺寸的第一特 征图像， 包括： 对于每个残差结构， 使所述螺 栓图像依次经 过多个卷积层， 得到卷积特 征； 将所述卷积特 征输入至注意力模块， 得到关注特 征； 将所述关注特 征和所述螺 栓图像进行叠加操作， 得到所述第一特 征图像。 4.根据权利要求3所述的基于深度学习的两级检测螺栓松动的方法， 其特征在于， 所述 将所述卷积特 征输入至注意力模块， 得到关注特 征， 包括： 对所述卷积特 征进行全局平均池化操作， 得到全局特 征； 对所述全局特征进行两次通道数不同的全连接操作， 然后进行激活操作， 得到所述卷 积特征的每个通道的权 重值； 将所述权重值按通道加权至所述卷积特征， 以在通道维度 上对所述卷积特征进行重标 定。 5.根据权利要求1所述的基于深度学习的两级检测螺栓松动的方法， 其特征在于， 所述 将所述待测图像输入至第二网络， 对所述第一标记和所述第二标记的相对位置进行检测， 得到螺栓松动情况 结果， 包括： 对所述待测图像进行 特征提取， 得到多个不同尺寸的第二特 征图像； 对于每个所述第 二特征图像， 将所述第 二特征图像进行卷积操作以减少所述第 二特征 图像的通道数， 得到卷积特 征图； 对于每个所述卷积特征图， 采用 双线性插值方法对所述卷积特征图进行上采样， 得到 与所述待测图像尺寸相同的上采样图像； 将多个所述上采样图像进行拼接， 得到拼接图像； 对所述拼接图像进行检测， 得到所述螺 栓松动情况 结果。 6.根据权利要求5所述的基于深度学习的两级检测螺栓松动的方法， 其特征在于， 所述 对所述待测图像进行 特征提取， 得到多个不同尺寸的第二特 征图像， 包括： 使所述待测图像经过深度 可分卷积层、 倒残差结构和全连接层， 进行特征提取， 得到多权　利　要　求　书 1/2 页 2 CN 115018774 A 2个不同尺寸的第二特 征图像。 7.根据权利要求5所述的基于深度学习的两级检测螺栓松动的方法， 其特征在于， 所述 螺栓松动情况结果包括表征螺栓处于松动状态的第一结果和表征螺栓处于非松动状态的 第二结果； 所述对所述 拼接图像进行检测， 得到所述螺 栓松动情况 结果， 包括： 当所述第一标记和所述第二标记的相对位置为两者 错位或断裂， 得到所述第一结果； 当所述第一标记和所述第 二标记的相对位置为两者连接并形成直线， 得到所述第 二结 果。 8.两级检测螺 栓松动的装置， 其特 征在于， 包括： 图像获取 单元， 用于获取螺 栓图像； 螺栓区域定位单元， 用于将所述螺栓 图像输入至第一网络， 对所述螺栓 图像中的螺栓 区域进行定位； 裁剪单元， 用于对所述螺栓区域进行裁剪得到待测图像， 所述待测图像包括螺栓、 螺栓 表面的第一标记、 螺 栓安装部、 螺 栓安装部表面的第二标记； 检测单元， 用于将所述待测图像输入至第二网络， 对所述第一标记和所述第二标记的 相对位置进行检测， 得到 螺栓松动情况 结果。 9.两级检测螺栓松动的装置， 包括： 存储器、 处理器及存储在存储器上并可在处理器上 运行的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求1至7 中任意一项所述的基于深度学习的两级检测螺 栓松动的方法。 10.存储介质， 其特征在于， 存储有计算机程序， 所述计算机程序用于执行如权利要求1 至7中任意 一项所述的基于深度学习的两级检测螺 栓松动的方法。权　利　要　求　书 2/2 页 3 CN 115018774 A 3