(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210393407.X (22)申请日 2022.04.14 (71)申请人 武汉大学 地址 430072 湖北省武汉市武昌区珞珈山 街道八一路2 99号 (72)发明人 马超　彭琛琛　石小川　张典　 孟小亮　李彦胜　 (74)专利代理 机构 武汉科皓知识产权代理事务 所(特殊普通 合伙) 42222 专利代理师 肖明洲 (51)Int.Cl. G06F 16/36(2019.01) G06F 16/28(2019.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06N 3/10(2006.01) (54)发明名称 基于时间图卷积网络的时序知识图谱补全 方法及系统 (57)摘要 本发明公开了一种基于时间图卷积网络的 时序知识图谱补全方法及系统， 本发 明的时间图 卷积网络包括结构编码器、 时序编码器和解码器 三个模块； 本发 明首先选择待补全的时序知 识图 谱G， 并确定该时序知识图谱待补全的目标时间 步； 然后通过结构编码器产生时序知识图谱每个 时间步的实体嵌入向量和关系嵌入向量； 接着通 过时序编码器生成实体和关系在预测时间步对 应的最终嵌入向量； 最后通过解码器对每个候选 四元组(s,r,o,t)根据得到 的头实体s、 关系r和 尾实体o在时间步t对应的最终嵌入向量， 对待补 全时序知识图谱中缺失内容进行预测， 完成时序 知识图谱的补全。 本发明可以有效提升时序知识 图谱补全 任务的准确率。 权利要求书3页 说明书6页 附图3页 CN 114780739 A 2022.07.22 CN 114780739 A 1.一种基于时间图卷积网络的时序知识图谱补全方法， 其特征在于： 所述时间图卷积 网络包括结构编码器、 时序编码器和解码器三个模块： 结构编码器用于捕获时序知识图谱 每一个时间步的拓扑结构信息， 挖掘实体和关系的潜在语义信息； 时序编码器用于学习知 识图谱的历史信息， 挖掘实体和关系的时序特征信息； 解码器用于根据包含拓扑结构信息 和时序特 征信息的嵌入向量计算补全结果； 所述方法包括以下步骤： 步骤1： 选择待补全的时序知识图谱G， 并确定该时序知识图谱待补全的目标时间步； 将时序知识图谱G中的事件按其时间步升序排列， 即G＝{G1,G2,…,GT}， 其中T表示时间 步的集合， Gt表示该时序知识图谱G在时间步t的子知识图谱； 定义时序知识图谱G的所有实体构成的集合为E， 所有关系构 成的集合为R； 时序知识图 谱G中的事件表示为四元组形式(s,r,o,t)， 其中头实体s∈E， 关系r∈R， 尾实体o∈E， 时间 步t∈T； 时序知识图谱G的补全包含实体补全和关系补全两个任务； 实体补全是对四元组中缺 失的实体进行预测， 给定一个不完整四元 组(s,r,？ ,t)， 通过对 所有候选实体进行推理和排 序， 从中选出最有 可能的实体作为补 全的结果， 其中， ？ 表示缺 失的实体； 关系补 全是对缺失 关系的四元 组(s,？ ,o,t)进行推理， 预测头实体 s和尾实体o之间可能存在的关系； 其中， ？ 表 示缺失的关系； 步骤2： 通过结构编码器产生时序知识图谱每个时间步的实体嵌入向量和关系嵌入向 量； 步骤3： 通过时序编码器生成实体和关系在预测时间步对应的最终嵌入向量； 步骤4： 通过解码器对每个候选四元组(s,r,o,t)根据得到的头实体s、 关系 r和尾实体o 在时间步t对应的最终嵌入向量 和 通过实体和关系的最终嵌入向量计算待补全 时序知识图谱中候选实体的得分， 并根据结果对缺失内容进行预测， 完成时序知识图谱的 补全。 2.根据权利要求1所述的基于时间图卷积网络的时序知识图谱补全方法， 其特征在于： 所述结构编码器由L层多关系图卷积神经网络RGCN构建， 将每个时间步的知识图谱作为输 入， 对实体节点的局部邻居信息进 行传递和聚合， 从而生 成实体和关系的嵌入向量； 其中实 体节点的聚合信息按照 关系的类型不同进行相应转换， 并经过正则化和激活函数ReLU； 最 终得到的实体和关系的嵌入向量具有了该时间步知识图谱的结构信息 。 3.根据权利要求1所述的基于时间图卷积网络的时序知识图谱补全方法， 其特征在于： 所述时序编码 器， 采用具有权重衰减机制的门控循环单元GRU， 用以集 成跨时间步的实体和 关系的嵌入向量中包含的时序信息； 时序编码器以每一时间步的实体嵌入向量和关系嵌入 向量作为输入， 根据实体和关系在预测时间步之前 的活跃程度计算其对应的衰减系 数， 将 衰减系数与嵌入向量相乘输入GRU， 计算实体和关系的最终嵌入向量。 4.根据权利要求1所述的基于时间图卷积网络的时序知识图谱补全方法， 其特征在于： 所述解码器基于ConvE模型实现， 由单层的卷积 网络、 全连接投影层和内积层组成； 解码器 首先将实体和关系的嵌入向量堆叠形成二维张量， 经过卷积和全连接层后在内积层与候选 目标的嵌入向量进行匹配， 计算得分函数， 根据得分排序选择待补全的目标。权　利　要　求　书 1/3 页 2 CN 114780739 A 25.根据权利要求1所述的基于时间图卷积网络的时序知识图谱补全方法， 其特征在于， 步骤2的具体实现包括以下子步骤： 步骤2.1： 随机初始化时间步t所有实体的嵌入向量 和所有关系的嵌入 向量 其中N为实体的总数， M为关系的总数； 步骤2.2： 采用L层多关系图卷积神经网络RGCN作 为结构编码器， 使用L层多关系图卷积 神经网络RGCN对局部邻居信息进行聚合， 经过每层消息传递后得到实体的嵌入向量 和关系的嵌入向量 其中1≤l≤ L； 采用交叉熵损失函 数更 新RGCN的参数； 步骤2.3： 经过L层的聚合后将 作为结构编码器输出的实体ei的嵌入向量， 将 作为结构编码器输出的关系rj的嵌入向量。 6.根据权利要求1所述的基于时间图卷积网络的时序知识图谱补全方法， 其特征在于， 步骤3中， 所述时序编码器使用门控循环单元GRU实现， 用于整合预测时间步t之前K个时间 步由上一步骤中结构编码器产生的每一实体ei的嵌入向量{hi,t‑K,hi,t‑K+1,…,hi,t‑1}以及每 一关系rj的嵌入向量{ri,t‑K,ri,t‑K+1,…,ri,t‑1}， 得到时间步t每一实体ei对应的最终嵌入向 量 以及每一关系rj对应的最终嵌入向量 具体实现包括以下子步骤： 步骤3.1： 分别计算每一实体 ei和每一关系rj在长度为K的时间步中的衰减系数{γi,t‑K, γi,t‑K+1,…,γi,t‑1}和{ θi,t‑K, θi,t‑K+1,…, θi,t‑1}； 衰减系数用于衡量实体和关系在预测时间 步之前的活跃程度； 步骤3.2： 将各个时间步的嵌入向量{hi,t‑K,hi,t‑K+1,…,hi,t‑1}和{ri,t‑K,ri,t‑K+1,…, ri,t‑1}与对应的衰减系数{γi,t‑K,γi,t‑K+1,…,γi,t‑1}和{ θi,t‑K, θi,t‑K+1,…, θi,t‑1}相乘作为 GRU的输入， 获取实体和关系的时序依赖特 征； 步骤3.3： 将GRU的输出 和 分别作为实体ei和关系rj在时间步t的嵌入向量。 7.根据权利要求1 ‑6任意一项所述的基于时间图卷积网络的时序知识图谱补全方法， 其特征在于： 所述时间图卷积网络为训练好的时间图卷积网络； 其训练过程包括以下步骤： (1)构建若干待补全的时序知识图谱G， 并确定该时序知识图谱待补全的目标时间步； 将时序知识图谱G中的事件按其时间步升序排列， 即G＝{G1,G2,…,GT}， 其中T表示时间 步的集合， Gt表示该时序知识图谱G在时间步t的子知识图谱； 定义时序知识图谱G的所有实体构成的集合为E， 所有关系构 成的集合为R； 时序知识图 谱G中的事件表示为四元组形式(s,r,o,t)， 其中头实体s∈E， 关系r∈R， 尾实体o∈E， 时间 步t∈T； 时序知识图谱G的补全包含实体补全和关系补全两个任务； 实体补全是对四元组中缺 失的实体进行预测， 给定一个不完整四元 组(s,r,？ ,t)， 通过对 所有候选实体进行推理和排 序， 从中选出最有 可能的实体作为补 全的结果； 其中， ？ 表示缺 失的实体； 关系补 全是对缺失 关系的四元 组(s,？ ,o,t)进行推理， 预测头实体 s和尾实体o之间可能存在的关系， 其中， ？ 表 示缺失的关系； (2)步骤2： 通过结构编码器产生 时序知识图谱每个时间步的实体嵌入向量和关系嵌入 向量；权　利　要　求　书 2/3 页 3 CN 114780739 A 3