(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210421741.1 (22)申请日 2022.04.21 (71)申请人 齐鲁工业大学 地址 250353 山东省济南市长清区大 学路 3501号 (72)发明人 高茜　王雨婷　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 黄海丽 (51)Int.Cl. G06F 16/9535(2019.01) G06F 16/36(2019.01) G06F 16/901(2019.01) G06F 16/335(2019.01) G06N 5/02(2006.01)G06N 3/04(2006.01) (54)发明名称 基于知识增强和注意力机制的新闻推荐方 法及系统 (57)摘要 本发明公开了基于知识增强和注意力机制 的新闻推荐方法及系统， 方法包括： 获取用户对 新闻链接的历史点击数据； 获取候选新闻数据； 将历史点击数据和候选新闻数据， 均输入到训练 后的新闻推荐模 型中， 得到为用户个性化推荐的 新闻数据； 新闻推荐模型， 基于用户对若干个新 闻链接的历史点击数据构建出若干个用户兴趣 表示； 将所有的用户兴趣表示均与每个候选新闻 数据进行匹配， 得到匹配结果； 使用不同权重对 所有的用户兴趣表示进行聚合， 得到聚合结果； 基于匹配结果和聚合结果得到用户感兴趣新闻 的特征向量； 将用户感兴趣新闻的特征向量与候 选新闻的特征向量进行拼接， 对拼接结果进行预 测， 得到推荐的候选新闻； 将结果推荐给用户。 权利要求书3页 说明书9页 附图2页 CN 114741599 A 2022.07.12 CN 114741599 A 1.基于知识增强和注意力机制的新闻推荐方法， 其特 征是， 包括： 获取用户对新闻链接的历史点击数据； 获取候选新闻数据； 将历史点击数据和候选新闻数据， 均输入到训练后的新闻推荐模型中， 得到为用户个 性化推荐的新闻数据； 其中， 新闻推荐模型， 基于用户对若干个新闻链接的历史点击数据构建出若干个用户 兴趣表示； 将所有的用户兴趣表示均与每个候选新闻数据进 行匹配， 得到匹配结果； 使用不 同权重对所有的用户兴趣表示进行聚合， 得到聚合结果； 基于匹配结果和聚合结果得到用 户感兴趣新闻的特征向量； 将用户感兴趣新闻的特征向量与候选新闻的特征向量进行拼 接， 对拼接结果进行 预测， 得到推荐的候选新闻； 将结果推荐给用户。 2.如权利要求1所述的基于知识增强和注意力 机制的新闻推荐方法， 其特征是， 所述新 闻推荐模型， 包括： M个第一编码器和一个第二编码器； 其中， M为 正整数； 所述第一编码器用于对用户浏览过的新闻标题进行编码处 理， 得到用户兴趣表示； 所述第二编码器用于对候选新闻标题进行编码处 理， 得到候选新闻的特 征向量； 相邻两个第一编码器的输出端与对应的第一基于注意力机制的卷积神经网络的输入 端连接； 其中， 第一基于注意力机制的卷积神经网络的数量 为M‑1个； 所有第一编码器的输出端和第 二编码器的输出端， 均与第 二基于注意力 机制的卷积神 经网络的输入端连接； 其中， 第二基于注意力机制的卷积神经网络的数量 为一个； 第二基于注意力机制的卷积神经网络的输出端和所有第一基于注意力机制的卷积神 经网络的输出端均 与乘法器连接； 乘法器输出用户感兴趣新闻的特 征向量； 乘法器的输出端与第 二编码器的输出端均与拼接单元的输入端连接， 实现将用户感兴 趣新闻的特 征向量与候选新闻的特 征向量的拼接； 拼接单元的输出端与多层感知器的输入端连接， 多层感知器的输出端用于输出推荐的 候选新闻。 3.如权利要求2所述的基于知识增强和注意力 机制的新闻推荐方法， 其特征是， 所述第 一编码器， 包括： 依次连接的嵌入层、 图注意力网络、 卷积神经网络层和最大池化层。 4.如权利要求1所述的基于知识增强和注意力 机制的新闻推荐方法， 其特征是， 所述基 于用户对若干个新闻链接的历史点击数据构建出若干个用户兴趣表示； 具体包括： 采用已有知识图谱， 对某个历史点击新闻标题进行实体提取， 得到实体、 实体与实体之 间的连接边以及实体与实体之间的关联规则， 进 而得到关系构建子图； 采用图注意力网络， 对关系构建子 图的每一个实体进行关联性搜索， 计算实体与实体 之间的连接边的权 重， 选取出权重高于设定阈值的实体； 采用卷积神经网络， 对选出的实体进行特征表示， 得到当前被浏览过的新闻标题的用 户兴趣表示。 5.如权利要求4所述的基于知识增强和注意力 机制的新闻推荐方法， 其特征是， 所述采 用已有知识图谱， 对某个历史点击新闻标题进行实体提取， 得到实体、 实体与实体之 间的连 接边以及实体与实体之间的关联规则， 进 而得到关系构建子图， 具体包括： (111)从新 闻标题中识别出实体， 在处理完所有的新闻标题后， 得到一个新闻实体集合 Enews；权　利　要　求　书 1/3 页 2 CN 114741599 A 2(112)根据新闻实体集合Enews， 从已有知识图谱 中抽取出一个子图： 对已有知识图谱中 的所有关系， 将与集合Enews中实体一样的实体词频的阈值设置为n次， 当两个实体出现的词 频超过n次时， 将构建两个实体之间的关系， 子图中剔除了不处于连接任意ei∈Enews路径上 的节点和相应的边； n 为正整数， 例如10； (113)采用知识表示学习方法TransE， 将知识图谱子图中的实体和 关系映射到低维向 量空间， 得到实体和关系的特 征向量， 供后续使用。 6.如权利要求4所述的基于知识增强和注意力 机制的新闻推荐方法， 其特征是， 采用图 注意力网络， 对关系构建子图的每一个实体进行关联性搜索， 计算实体与实体之间的连接 边的权重， 选取出权重高于设定阈值的实体； 具体包括： (121)： 使用TransE学习对 于每个实体和关系的嵌入向量 TransE在知识图上进 行实体/关系的嵌入并使特 征保持不变； 让 来表示三元组中头 部实体h的集 合； 一个实体表示 为： 其中： 表示向量连接， 表示eh和et是从TransE学习 到的实体向量； π(h， r， t)是控制邻 居节点需要向当前实体传播信息的数量的注意权值， 通过双 层全连接神经网络计算得到： 其中， 使用softmax函数来归一化系数； 使用图注意力网络只启用单跳图的邻域， 将 TransE嵌入向量作为节点特 征， 可训练参数为{W0， W1， W2， b1， b2}； (122)： 通过丰富实体表示， 进而丰富了实体的相 关上下文信息； 上下文嵌入被计算为 其上下文实体的平均值： (123)： 由于实体向量存在着与词向量属于不同向量空间的问题； 首先， 引入一个映射函数将实体向量和映射到和文本特征相同的向量空间中， 得到实 体特征矩阵； g(e)＝tanh(Me+b) 其中： 是可训练的变换矩阵， 是可训练的参数； 然后， 采用与实体特征相同的映射函数将其映射到和文本特征相同的向量空间中， 得 到实体上 下文特征矩阵； 最后， 文本特征矩阵、 实体特征矩阵和实体上下文特征矩阵构建三通道输入， 通过CNN， 提取新闻特 征向量e(t)， 其中， 为第i个卷积核的输出， m为卷积核的个数： 7.如权利要求1所述的基于知识增强和注意力 机制的新闻推荐方法， 其特征是， 所述使 用不同权 重对所有的用户兴趣表示进行聚合， 得到聚合结果； 具体是指：权　利　要　求　书 2/3 页 3 CN 114741599 A 3