(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210336010.7 (22)申请日 2022.04.01 (65)同一申请的已公布的文献号 申请公布号 CN 114491083 A (43)申请公布日 2022.05.13 (73)专利权人 江苏智云天工科技有限公司 地址 213000 江苏省常州市 常州钟楼经济 开发区玉龙南路280号常州 大数据产 业园4号楼2楼201室 (72)发明人 杭天欣　郑钧友　赵何　张志琦　 (74)专利代理 机构 常州佰业腾飞专利代理事务 所(普通合伙) 32231 专利代理师 刘松 (51)Int.Cl. G06F 16/36(2019.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06Q 50/04(2012.01) (56)对比文件 CN 111627015 A,2020.09.04 CN 114140625 A,202 2.03.04 CN 114445366 A,2022.05.06 审查员 倪赛华 (54)发明名称 工业检测中的知识图库构建方法、 知识图库 构建装置 (57)摘要 本发明提供一种工业检测中的知识图库构 建方法、 知识图库 构建装置， 所述方法包括： 获取 待储存图片集并输入目标检测模 型， 以获得推理 结果； 根据推理结果进行切图操作， 以抠出对应 的缺陷图； 将缺陷图输入向量提取模 型以获取图 片特征向量， 其中， 向量提取模型包括： 特征提取 网络、 降维卷积核和分类器； 将缺陷类别进行热 编码以获取编码向量； 将编码向量与图片特征向 量进行通道拼接， 以生成关键字向量； 将关键字 向量和对应的待储存图片 存入知识图库。 该方法 采用向量构建知识图库， 从而可以建立一套可用 于快速搜索的知识图库， 且在特征提取时采用特 征提取网络、 降维卷积核和分类器相结合， 可 以 获取更加精 准的特征提取效果， 提高图片搜索的 准确性。 权利要求书2页 说明书8页 附图3页 CN 114491083 B 2022.07.15 CN 114491083 B 1.一种工业检测中的知识图库构建方法， 其特 征在于， 包括以下步骤： 获取待储存图片集， 并输入目标检测模型， 以获得推理结果， 所述推理结果包括： 缺陷 位置和缺陷类别； 根据所述推理结果在对应的待储存图片上进行切图操作， 以抠出对应的缺陷 图并存储 缺陷图对应的缺陷类别； 将所述缺陷图输入向量提取模型以获取图片特征向量V， 其中， 所述向量提取模型包 括： 特征提取网络Sw in transformer、 降维卷积核和分类 器； 将所述缺陷类别进行 热编码， 以获取对应的编码向量H； 将编码向量H的维度补齐与所述图片特征向量V一致后， 将所述编码向量H与所述图片 特征向量V进行通道拼接， 以生成关键 字向量W； 将所述关键字向量W和对应的待储存图片存入知识图库， 其中， 所述关键字向量W作为 键， 对应的待储 存图片作为 值； 其中， 采用以下步骤训练所述向量 提取模型： 将所述缺 陷图和对应的缺 陷类别作为输入送入特征提取网络Swin  transformer， 其 中 对应的缺陷类别作为训练标签， 以生成三维特 征图F1； 将所述三维特征图F1输入第一降维卷积核， 以生成二维特 征图F2； 将所述二维特征图F2输入第二降维卷积核， 以生成图片特 征向量V； 将所述图片特 征向量V作为输入送入所述分类 器， 进行梯度下降。 2.根据权利要求1所述的工业检测中的知识图库构建方法， 其特征在于， 所述三维特征 图F1的维度为 ， 其中 是所述三维特征图F1宽的维度， 是所述三维特征 图F1高的维度， C1是所述三维特征图F1通道的维度， 所述第一降维卷积核的维度为3*3*C， 其中3*3为第一降维卷积核滑窗的大小， C为第一降维卷积核的通道且等于C1； 所述二维特 征图F2的维度为 ， 其中 是所述二维特征图F2宽的维度， 是所述二维特征图 F2高的维度， 且 等于 、 等于 ， 采用以下公式获取 和 的大小： 其中p为补足的大小， 且p=1。 3.根据权利要求2所述的工业检测中的知识图库构建方法， 其特征在于， 所述图片特征 向量V的维度为4096*1， 所述第二降维卷积核的维度为 ， 其中 为 所述第二降维卷积核滑窗的大小， 且 等于 、 等于 ， 1为所述第二降维卷积核 的通道， 4096为所述第二降维卷积核的卷积核个数。 4.一种工业检测中的知识图库构建装置， 其特 征在于， 包括： 获取模块， 所述获取模块用于获取待储存图片集， 并输入目标检测模型， 以获得推理结 果， 所述推理结果包括： 缺陷位置和缺陷类别； 切图模块， 所述切图模块用于根据所述推理结果在对应的待储存图片上进行切图操 作， 以抠出对应的缺陷图并存 储缺陷图对应的缺陷类别；权　利　要　求　书 1/2 页 2 CN 114491083 B 2特征提取模块， 所述特征提取模块用于将所述缺陷图输入向量提取模型以获取图片特 征向量V， 其中， 所述向量提取模 型包括： 特征提取网络Swin  transformer、 降维卷积核和分 类器； 热编码模块， 所述热编码模块用于将所述缺陷类别进行热编码， 以获取对应的编码向 量H； 拼接模块， 所述拼接模块用于将编码向量H的维度补齐与所述图片特征向量V一致后， 将所述编码向量H与所述图片特 征向量V进行通道拼接， 以生成关键 字向量W； 存储模块， 所述存储模块用于将所述关键字向量W和对应的待储存图片存入知识图库， 其中， 所述关键 字向量W作为键， 对应的待储 存图片作为 值； 其中， 所述向量 提取模型 具体用于采用以下步骤训练： 将所述缺 陷图和对应的缺 陷类别作为输入送入特征提取网络Swin  transformer， 其 中 对应的缺陷类别作为训练标签， 以生成三维特 征图F1； 将所述三维特征图F1输入第一降维卷积核， 以生成二维特 征图F2； 将所述二维特征图F2输入第二降维卷积核， 以生成图片特 征向量V； 将所述图片特 征向量V作为输入送入所述分类 器， 进行梯度下降。 5.根据权利要求4所述的工业检测中的知识图库构建装置， 其特征在于， 所述三维特征 图F1的维度为 ， 其中 是所述三维特征图F1宽的维度， 是所述三维特征 图F1高的维度， C1是所述三维特征图F1通道的维度， 所述第一降维卷积核的维度为3*3*C， 其中3*3为第一降维卷积核滑窗的大小， C为第一降维卷积核的通道且等于C1； 所述二维特 征图F2的维度为 ， 其中 是所述二维特征图F2宽的维度， 是所述二维特征图 F2高的维度， 且 等于 、 等于 ， 所述特征提取模块采用以下公式获取 和 的大小： 其中p为补足的大小， 且p=1。 6.根据权利要求5所述的工业检测中的知识图库构建装置， 其特征在于， 所述图片特征 向量V的维度为4096*1， 所述第 二降维卷积核的维度为 ， 其中 为 所述第二降维卷积核滑窗的大小， 且 等于 、 等于 ， 1为所述第二降维卷积核 的通道， 4096为所述第二降维卷积核的卷积核个数。权　利　要　求　书 2/2 页 3 CN 114491083 B 3