(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210135507.2 (22)申请日 2022.02.14 (71)申请人 中国工商银行股份有限公司 地址 100140 北京市西城区复兴门内大街 55号 (72)发明人 翁兆琦　 (74)专利代理 机构 北京康信知识产权代理有限 责任公司 1 1240 专利代理师 周春枚 (51)Int.Cl. G06F 16/35(2019.01) G06F 16/33(2019.01) G06F 16/335(2019.01) G06F 16/338(2019.01) G06F 16/36(2019.01) (54)发明名称 基于语言模型的信息交互方法及其装置、 电 子设备 (57)摘要 本发明公开了一种基于语言模型的信息交 互方法及其装置、 电子设备， 涉及人工智能领域， 其中， 该方法包括： 对目标询问信息进行分类， 得 到关于目标询问信息的主题实体， 去除其中的主 题实体， 得到待处理询问信息， 基于预设语言模 型， 分别对待处理询问信息以及候选答案集合进 行向量化处理， 对得到的询问信息向量和候选答 案向量进行交互处理， 对 得到的交互矩阵与询问 信息向量， 以及与候选答案向量分别进行拼接， 得到第一拼接向量和第二拼接向量， 计算第一拼 接向量与第二拼接向量之间的相关性得分， 并将 得分最高所指示的候选答案作为目标询问信息 的回复答案 。 权利要求书3页 说明书15页 附图6页 CN 114491046 A 2022.05.13 CN 114491046 A 1.一种基于语言模型的信息交 互方法， 其特 征在于， 包括： 对接收到的目标询问信 息进行分类， 得到关于所述目标询问信 息的主题实体， 其中， 所 述主题实体用于在预设知识数据库中查询候选答案， 得到候选答案集 合； 去除所述目标询问信息中的所述主题实体， 得到待处 理询问信息； 基于预设语言模型， 对所述待处理询问信 息进行向量化处理， 得到询问信息向量， 并对 所述候选答案集 合进行向量 化处理， 得到候选答案向量； 对所述询问信 息向量和所述候选答案向量进行交互处理， 得到与所述询问信 息向量对 应的第一类交 互矩阵以及与所述 候选答案向量对应的第二类交 互矩阵； 对所述第一类交互矩阵和所述询问信息向量进行拼接， 得到第一拼接向量， 并对所述 第二类交 互矩阵和所述 候选答案向量进行拼接， 得到第二 拼接向量； 计算所述第 一拼接向量与 所述第二拼接向量之间的相关性得分， 并将得分最高所指示 的候选答案作为所述目标询问信息的回复答案 。 2.根据权利要求1所述的交互方法， 其特征在于， 在对接收到的目标询问信息进行分 类， 得到关于所述目标询问信息的主题实体之前， 所述交 互方法还 包括： 对所述目标询问信息进行分词处 理， 得到第一词序列； 对所述第一词序列的首端和尾端加上 预设标记信息， 得到第二词序列。 3.根据权利要求2所述的交互方法， 其特征在于， 对接收到的目标询问信息进行分类， 得到关于所述目标询问信息的主题实体的步骤， 包括： 基于预设语言模型， 对所述第二词序列进行编码， 得到目标序列； 计算所述目标序列中每 个词向量的分类得分； 对所述分类得分进行排序， 并对排序结果进行筛选， 筛选出大于预设得分阈值的分类 得分； 将筛选出的所述分类得分所指示的词向量表征为所述主题实体。 4.根据权利要求1所述的交互方法， 其特征在于， 在对接收到的目标询问信息进行分 类， 得到关于所述目标询问信息的主题实体之后， 所述交 互方法还 包括： 基于所述主题实体， 从所述预设知识数据库中查找与所述主题实体匹配的实体； 将所述实体加入到实体集 合中； 基于所述实体集合， 在所述预设知识数据库中查找与 所述实体集合中每个实体对应的 元组， 并将所述元组加入到候选答案集 合中。 5.根据权利要求1所述的交互方法， 其特征在于， 基于预设语言模型， 对所述待处理询 问信息进 行向量化处理， 得到询问信息向量， 并对 所述候选答案集合进 行向量化处理， 得到 候选答案向量的步骤， 包括： 对所述待处 理询问信息进行分词处 理， 得到分词后的待处 理询问信息； 对所述候选答案集 合进行分词处 理， 得到分词后的候选答案集 合； 对所述分词后的待处 理询问信息进行向量 化， 得到所述询问信息向量； 对所述分词后的候选答案集 合进行向量 化， 得到所述 候选答案向量。 6.根据权利要求1所述的交互方法， 其特征在于， 所述第一类交互矩阵至少包括： 第一 交互矩阵， 所述第二类交互矩阵至少包括： 第二交互矩阵， 对 所述询问信息向量和所述候选 答案向量进行 交互处理， 得到与所述询问信息向量对应的第一类交互矩阵 以及与所述候选权　利　要　求　书 1/3 页 2 CN 114491046 A 2答案向量对应的第二类交 互矩阵的步骤， 包括： 计算所述询问信息向量中的任一词向量与所述候选答案向量中的任一词向量之间的 相似度； 基于所述相似度以及所述 候选答案向量， 构建所述第一交 互矩阵； 基于所述相似度以及所述询问信息向量， 构建所述第二交 互矩阵。 7.根据权利要求1所述的交互方法， 其特征在于， 所述第一类交互矩阵还包括： 第三交 互矩阵， 所述第二类交互矩阵还包括： 第四交互矩阵， 对所述询问信息向量和所述候选答案 向量进行 交互处理， 得到与所述询问信息向量对应的第一类交互矩阵 以及与所述候选答案 向量对应的第二类交 互矩阵的步骤， 包括： 基于预设卷积算法， 分别提取所述询问信息向量以及所述候选答案向量的结构特征， 得到询问信息结构特 征以及候选答案结构特 征； 计算所述询问信息结构特征中的任一特征向量与所述候选答案结构特征中的任一特 征向量之间的相似度； 基于所述相似度以及所述 候选答案结构特 征， 构建所述第三交 互矩阵； 基于所述相似度以及所述询问信息结构特 征， 构建所述第四交 互矩阵。 8.根据权利要求1所述的交互方法， 其特征在于， 在对所述第 一类交互矩阵和所述询问 信息向量进行拼接， 得到第一拼接 向量， 并对所述第二类交互矩阵和所述候选答案 向量进 行拼接， 得到第二 拼接向量之后， 所述交 互方法还 包括： 基于预设长短期模型， 提取所述第 一拼接向量的第 一语义特征以及所述第 二拼接向量 的第二语义特 征。 9.根据权利要求8所述的交互方法， 其特征在于， 在提取所述第 一拼接向量的第 一语义 特征以及所述第二 拼接向量的第二语义特 征之后， 所述交 互方法还 包括： 基于预设平均池化算法， 分别对所述第 一语义特征以及所述第 二语义特征进行平均处 理， 得到平均处 理后的第一语义特 征以及平均处 理后的第二语义特 征； 基于预设最大池化算法， 分别对所述第 一语义特征以及所述第 二语义特征进行最大化 处理， 得到最大化处 理后的第一语义特 征以及最大化处 理后的第二语义特 征。 10.根据权利要求9所述的交互方法， 其特征在于， 计算所述第一拼接向量与所述第二 拼接向量之间的相关性得分的步骤， 包括： 对所述平均处理后的第 一语义特征以及所述平均处理后的第 二语义特征进行拼接， 并 计算所述第一语义特 征与所述第二语义特 征之间的第一得分； 对所述最大化处理后的第一语义特征以及所述最大化处理后的第二语义特征进行拼 接， 并计算所述第一语义特 征与所述第二语义特 征之间的第二得分； 基于所述第 一得分、 所述第 二得分、 预设权重矩阵以及预设偏置阈值， 计算所述第一拼 接向量与所述第二 拼接向量的相关性得分。 11.一种基于语言模型的信息交 互装置， 其特 征在于， 包括： 分类单元， 用于对接收到的目标询问信息进行分类， 得到关于所述目标询问信息的主 题实体， 其中， 所述主题实体用于在预设知识数据库中查询候选答案， 得到候选答案集 合； 去除单元， 用于去除所述目标询问信息中的所述主题实体， 得到待处 理询问信息； 处理单元， 用于基于预设语言模型， 对所述待处理询问信 息进行向量化处理， 得到询问权　利　要　求　书 2/3 页 3 CN 114491046 A 3