(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210162095.1 (22)申请日 2022.02.22 (71)申请人 武汉纺织大 学 地址 430073 湖北省武汉市洪山区纺织路1 号 (72)发明人 刘军平　梅世杰　胡新荣　姚迅　 杨捷　 (74)专利代理 机构 上海硕力知识产权代理事务 所(普通合伙) 31251 专利代理师 刘桂芝 (51)Int.Cl. G06F 16/332(2019.01) G06F 16/36(2019.01) G06K 9/62(2022.01) (54)发明名称 智能问答模型的生成方法、 装置、 计算设备 和存储介质 (57)摘要 本发明提供了一种智能问答模型的生成方 法， 包括： 扩充原始样本数据集以使存在与所述 原始样本数据集中问题对应的正样 本， 生成新样 本数据集； 将生成的新样本数据集输入到现有问 答模型中， 所述现有问答模型从新样本数据集中 的知识库和文档中获取与问题相关的特征编码， 并计算现有问答模型的损失Lqa； 将获得的特征 编码加入到改进的对比学习模型中， 分别计算出 真样本与新样本数据集中的困难正、 负样本之间 的相似度， 得出对比损失Lcl； 将现有问答模型 的 损失Lqa和对比损失Lcl进行结合， 得到最终问答 模型的损失L， 并训练最终问答模型。 本发明在现 有问答模型加入对比学习模型， 模 型泛化能力更 强， 同时在知识库问答取得的效果相比于传统的 方法更好。 权利要求书3页 说明书13页 附图4页 CN 114547267 A 2022.05.27 CN 114547267 A 1.一种智能问答模型的生成方法， 其特 征在于， 所述方法包括： 扩充原始样本数据集以使存在与 所述原始样本数据集中问题对应的正样本， 生成新样 本数据集， 其中， 所述正样 本定义为与 原始样本数据集答案相同的问题， 与 原始样本数据集 答案不相同的问题定义 为负样本； 将生成的新样本数据集输入到现有问答模型中， 所述现有问答模型从新样本数据集中 的知识库和文档中获取与问题相关的特 征编码， 并计算现有问答模型的损失Lqa； 将获得的特征编码加入到改进的对比学习 模型中， 分别计算出真样本与新样本数据集 中的困难正、 负 样本之间的相似度， 得 出对比损失Lcl； 采用线性融合将现有问答模型的损失Lqa和对比损失Lcl进行结合， 得到最终问答模型的 损失L， 并训练得到所述 最终问答模型。 2.根据权利要求1所述的智能问答模型的生成方法， 其特征在于， 所述扩充原始样本数 据集以使存在与所述原 始样本数据集中问题对应的正样本， 生成新样本数据集具体包括： 根据原始样本数据集中的问题和知识库三元组信 息， 生成与原始样本数据集中的问题 对应的正样本， 其中将与原始样本数据集中答案相同的问题定义为正样本， 答案不同的定 义为负样本； 针对每一条数据样本生成三条正样本， 得到新样本数据集， 其中， 原始样本数据集为公 共的问答数据集 WebQuesti onSP。 3.根据权利要求2所述的智能问答模型的生成方法， 其特征在于， 所述现有问答模型从 新样本数据集中的知识库和文档中获取与问题相关的特 征编码具体包括： 现有问答模型对问题、 知识库三元组信息和文档信息分别进行编码， 分别得到它们的 语义表达 q， KBi和docj， 其中， KBi表示知识库中第i个子图的语义表达， i＝1， 2， ..， lkb， 这里 lkb表示知识库中子图的总数； docj表示文档中第j个子图的语义表达， j＝1， 2， ..， ldoc， ldoc 表示文档的总数； 利用LSTM注意力编码器对问题进行编码， 获得问题特 征向量 获得知识库的实体特 征向量和文档的实体特 征向量； 根据知识库的实体特征向量和文档的实体特征向量获得与问题相关的实体特征向量 ent； 将所述问题特 征向量 实体特征向量ent作为特 征编码。 4.根据权利要求3所述的智能问答模型的生成方法， 其特 征在于， 所述方法还 包括： 将原始样本数据集标记为真样本xquery， 计算所述真样本xquery的特征向量query， 其中 将扩充的三条正样本数据标记为 计算正样本的特征向量(k1， k2， k3)， 其中， 权　利　要　求　书 1/3 页 2 CN 114547267 A 2θk←mθk+(1‑m)θq， m∈[0， 1) 其中fq＝encoder， fk＝moment encoder均为现有问答模型和动量更新编码器。 5.根据权利要求4所述的智能问答模型的生成方法， 其特征在于， 所述将 获得的特征编 码加入到改进的对比学习模型中， 分别计算出真样本与新样本数据集中的困难正样本、 负 样本之间的相似度， 得出对比损失Lcl， 采用线性融合将现有问答模型的损失Lqa和对比损失 Lcl进行结合， 得到最终问答模型的损失L具体包括： 定义一个负样本队列Zneg＝{z1， z2， ...， zK}， 其中zi表示样本数据集中的第l个负样本， K 表示负样本队列的个数； 计算真样本与正样本之间的余弦相似度， 并最终提取相似度最小的正样本作为困难正 样本向量 khard： 将正样本和真样本进行线性融合后形成新的困难负样本向量 然后更新进负样本 队列Zneg， 具体公式如下： 其中， λ表示分配权 重； 对Zneg按照负样本和真样本的相似度进行从大到小的排序， 得到|| query||||zi||＞|| query||||zj||， (i＜j)， 抽取Top ‑K个相似度最大的负 样本来组成 满足： 其中λneg为预先设定的超参； 根据得到的困难负样本队列向量 和困难正样本向量 khard， 得到改进后的对比损失函数Lcl， 其中， τ 为 一个常数； 从而得到最终的模型损失函数L， L＝ λqaLqa+λclLcl λqa和 λcl分别表示现有问答模型和对比模型的损失权 重。 6.一种智能问答模型的生成装置， 其特 征在于， 所述装置包括： 样本集生成模块， 用于扩充原始样本数据集以使存在与 所述原始样本数据集中问题对 应的正样本， 生 成新样本数据集， 其中所述正样本定义为原始样本数据集答案相同的问题， 原始样本数据集 答案不相同的问题定义 为负样本； 编码模块， 用于将生成的新样本数据集输入到现有问答模型中， 所述现有问答模型从 新样本数据集中的知识库和文档中获取与问题相关的特征编码， 并计算现有问答模型的损权　利　要　求　书 2/3 页 3 CN 114547267 A 3