(19)中华 人民共和国 国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210024129.0 (22)申请日 2022.01.11 (65)同一申请的已公布的文献号 申请公布号 CN 114049493 A (43)申请公布日 2022.02.15 (73)专利权人 北京融信数联科技有限公司 地址 100000 北京市海淀区上地信息路26 号10层10 04室 (72)发明人 张广志　成立立　于笑博　杨占军　 刘畔青　 (74)专利代理 机构 北京沃杰永益知识产权代理 事务所(普通 合伙) 11905 代理人 杨杰 (51)Int.Cl. G06V 10/26(2022.01)G06V 10/74(2022.01) G06K 9/62(2022.01) G06F 16/36(2019.01) 审查员 韦佳黎 (54)发明名称 基于智能体图谱的图像识别方法、 系统和可 读存储介质 (57)摘要 本发明公开的一种基于智能体图谱的图像 识别方法、 系统和可读 存储介质， 其中方法包括： 调用多模态机制对预设数据进行处理以构建所 述智能体图谱； 对目标图片进行图像分割， 将分 割结果与所述智能体图谱内的图谱进行比对匹 配， 以检测并识别出目标数据； 基于所述目标数 据获取各目标块的相对位置以及相对 大小， 并结 合所述智能体图谱获取各所述目标块的相互关 系。 本发明通过提取多模态数据语义信息， 进而 通过融合关联， 将多模态数据用于智能体图谱构 建中， 使得智能体图谱内容更加丰富， 为认知智 能提供多模态本体实体及事理逻辑知识库支撑， 依托智能体图谱中的已有认知， 进行图像识别， 更好地理解图片中的信息 。 权利要求书3页 说明书9页 附图1页 CN 114049493 B 2022.04.01 CN 114049493 B 1.一种基于智能体图谱的图像识别方法， 其特 征在于， 包括以下步骤： 调用多模态机制对预设数据进行处 理以构建所述智能体图谱； 对目标图片进行图像分割， 将分割结果与所述智能体图谱内的图谱进行比对匹配， 以 检测并识别出目标 数据； 基于所述目标数据获取各目标块的相对位置以及相对大小， 并结合所述智能体图谱获 取各所述目标块的相互关系； 所述将分割结果与所述智能体图谱内的图谱进行比对匹配， 以检测并识别出目标数 据， 具体包括： 提取所述分割结果识别每一个所述目标块； 基于每个所述目标块依次与所述智能体图谱内的图片进行比对， 并计算相似概率值， 其中， 若所述相似概率值超过预设第一相似阈值， 则判定所述 目标块与所述智能体图谱中 对应的所述图片为同一物体， 否则， 判定为 不同物体； 将判定为同一物体的所述目标块组合成所述目标 数据； 所述基于所述目标数据获取各目标块的相对位置以及相对大小， 并结合所述智能体图 谱获取各所述目标块的相互关系， 具体包括： 利用区域的矩 识别所述目标块于所述目标图片中的方位数据； 计算每个所述目标块的面积并进行大小降序排列， 结合所述智能体图谱确定各所述目 标块间的所述相互关系， 以生成对应的文本化描述； 所述检测并识别出目标 数据， 还包括： 基于分类模型和图像搜索融合 技术的检测图像。 2.根据权利要求1所述的一种基于智能体图谱的图像识别方法， 其特征在于， 所述调用 多模态机制对预设数据进行处 理以构建所述智能体图谱， 具体包括： 通过多模态知识抽取、 多模态知识表示、 多模态知识融合以及多模态知识加工来构建 所述智能体图谱， 其中， 基于预设特征提取模型对所述预设数据进行单模态语义特征提取， 而后 提取多模态数 据的对应关系以完成所述多模态知识抽取； 基于预设嵌入方式将不同类型的所述预设数据投射到同一向量空间中表示， 以完成所 述多模态知识 表示； 基于概念层以及数据层两个层面对所述多模态知识抽取的结果进行链接， 以完成所述 多模态知识融合； 对所述多模态知识融合后的链接结果调用预设加工方式以完成所述多模态知识加工 。 3.根据权利要求2所述的一种基于智能体图谱的图像识别方法， 其特征在于， 所述预设 嵌入方法包括词嵌入、 无监督图嵌入、 属性图嵌入以及异构图嵌入； 所述加工方式包括本体 构建、 事件本体构建、 知识推理和质量评估。 4.根据权利要求2所述的一种基于智能体图谱的图像识别方法， 其特征在于， 所述对目 标图片进行图像分割， 具体包括： 利用预设算法对所述目标图片进行图像分割得到所述分割结果， 其中， 所述预设算法 为Swin‑Transformer算法和/或Self ‑attention算法； 调用预设参数对所述目标图片进行图像分割得到所述分割结果， 其中， 所述预设参数 包括形状、 颜色、 亮度以及对比度。权　利　要　求　书 1/3 页 2 CN 114049493 B 25.一种基于智能体图谱的图像识别系统， 其特征在于， 包括存储器和处理器， 所述存储 器中包括基于智能体图谱的图像识别方法程序， 所述基于智能体图谱的图像识别方法程序 被所述处 理器执行时实现如下步骤： 调用多模态机制对预设数据进行处 理以构建所述智能体图谱； 对目标图片进行图像分割， 将分割结果与所述智能体图谱内的图谱进行比对匹配， 以 检测并识别出目标 数据； 基于所述目标数据获取各目标块的相对位置以及相对大小， 并结合所述智能体图谱获 取各所述目标块的相互关系； 所述将分割结果与所述智能体图谱内的图谱进行比对匹配， 以检测并识别出目标数 据， 具体包括： 提取所述分割结果识别每一个所述目标块； 基于每个所述目标块依次与所述智能体图谱内的图片进行比对， 并计算相似概率值， 其中， 若所述相似概率值超过预设第一相似阈值， 则判定所述 目标块与所述智能体图谱中 对应的所述图片为同一物体， 否则， 判定为 不同物体； 将判定为同一物体的所述目标块组合成所述目标 数据； 所述基于所述目标数据获取各目标块的相对位置以及相对大小， 并结合所述智能体图 谱获取各所述目标块的相互关系， 具体包括： 利用区域的矩 识别所述目标块于所述目标图片中的方位数据； 计算每个所述目标块的面积并进行大小降序排列， 结合所述智能体图谱确定各所述目 标块间的所述相互关系， 以生成对应的文本化描述； 所述检测并识别出目标 数据， 还包括： 基于分类模型和图像搜索融合 技术的检测图像。 6.根据权利要求5所述的一种基于智能体图谱的图像识别系统， 其特征在于， 所述调用 多模态机制对预设数据进行处 理以构建所述智能体图谱， 具体包括： 通过多模态知识抽取、 多模态知识表示、 多模态知识融合以及多模态知识加工来构建 所述智能体图谱， 其中， 基于预设特征提取模型对所述预设数据进行单模态语义特征提取， 而后 提取多模态数 据的对应关系以完成所述多模态知识抽取； 基于预设嵌入方式将不同类型的所述预设数据投射到同一向量空间中表示， 以完成所 述多模态知识 表示； 基于概念层以及数据层两个层面对所述多模态知识抽取的结果进行链接， 以完成所述 多模态知识融合； 对所述多模态知识融合后的链接结果调用预设加工方式以完成所述多模态知识加工 。 7.根据权利要求6所述的一种基于智能体图谱的图像识别系统， 其特征在于， 所述对目 标图片进行图像分割， 具体包括： 利用预设算法对所述目标图片进行图像分割得到所述分割结果， 其中， 所述预设算法 为Swin‑Transformer算法和/或Self ‑attention算法； 调用预设参数对所述目标图片进行图像分割得到所述分割结果， 其中， 所述预设参数 包括形状、 颜色、 亮度以及对比度。 8.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质中包括一种基于权　利　要　求　书 2/3 页 3 CN 114049493 B 3