(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210315679.8 (22)申请日 2022.03.28 (71)申请人 北京智谱华 章科技有限公司 地址 100084 北京市海淀区中关村东路1号 院6号楼6层6 03A (72)发明人 张笑涵　于济凡　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 单冠飞 (51)Int.Cl. G06F 16/332(2019.01) G06F 16/36(2019.01) G06F 40/295(2020.01) G06F 40/35(2020.01) G06K 9/62(2022.01) (54)发明名称 基于预训练语言模型的零微调拟人会话生 成方法及设备 (57)摘要 本发明提出一种基于预训练语言模型的零 微调拟人会话生成方法及设备， 该方法基于给定 的描述领域的关键词， 获取所述 关键词的相关语 料， 并进行概念集扩展， 聚合资源以提供相关知 识资源； 基于用户会话历史， 选取其中与所述关 键词相关的会话轮次， 对所述会话轮次中的对话 进行概念抽取， 基于抽取结果得到的概念从知识 资源库中寻找相关资源， 将所述会话轮次文本以 及所述资源拼接整合构建引导语,作为大规模预 训练语言模 型的输入,输出结果为对应会话轮次 的对话回复。 通过本发明， 能够自动构建适合多 轮拟真对话的大模型引导语模板， 基于大模型生 成得到对话结果。 权利要求书2页 说明书7页 附图2页 CN 114780694 A 2022.07.22 CN 114780694 A 1.一种基于预训练语言模型的零 微调拟人会话 生成方法， 其特 征在于， 包括： 基于给定的描述领域的关键词， 获取所述关键词的相关语料， 并进行概念集扩展， 聚合 资源以提供相关知识资源； 基于用户会话历史， 选取其中与所述关键词相关的会话轮次， 对所述会话轮次中的对 话进行概念抽取， 基于抽取结果得到的概念从知识资源库中寻找相关资源， 将所述会话轮 次文本以及所述资源拼接整合构建引导语,作为大规模预训练语言模型 的输入,输出结果 为对应会话轮次的对话回复。 2.根据权利要求1所述的基于预训练语言模型的零微调拟人会话生成方法， 其特征在 于， 基于给定的描述领域的关键词， 获取所述关键词的相关语料， 并进行概念集扩展， 聚合 资源以提供相关知识资源， 包括： 将所述关键词作为种子概念， 从外部知识图谱中获取种子概念相关的概念描述和知识 资源， 同时获取种子概念相关的概念描述和知识资源对应的文本内容， 得到关键词对应的 资源数据； 将收集到的资源数据进行格式标准化； 其中， 标准化格式包括问答对形式和文本描述 形式； 对格式标准 化的资源数据进行 数据拓展， 作为所述资源数据的拓展候选集 合； 对所述拓展候选集合进行聚类， 以聚类结果为单位， 与所述种子概念进行相似度计算， 完成概念排序。 3.根据权利要求2所述的基于预训练语言模型的零微调拟人会话生成方法， 其特征在 于， 所述问答对形式由收集到的三元组内容得到， 所述文本描述形式由知识图谱中实体描 述得到。 4.根据权利要求2所述的基于预训练语言模型的零微调拟人会话生成方法， 其特征在 于， 基于用户会话历史， 选取其中与所述关键词相关的会话轮次， 对 所述会话轮次中的对话 进行概念抽取， 基于抽取结果得到的概念从知识资源库中寻找相关资源， 将所述会话轮次 文本以及所述资源拼接整合构建引导语,作为大规模预训练语言模型 的输入,输出结果为 对应会话轮次的对话回复， 包括 步骤： 根据当前用户输入轮次作为查询从整个会话历史中挑选出k个相关对话轮次， 作为输 入基础； 对作为输入基础的k个相关对话轮次进行概念抽取， 并基于抽取结果得到的概念从知 识资源库中寻找相关对话型资源， 补充在对应的会话轮次； 将多轮对话历史作为整体， 从知识库中查找最相关的概念， 并将其描述型资源插入在 聊天之前， 作为对话背景知识； 使用大规模预训练语言模型， 将得到的整体对话作为输入， 使用B eam Search方式生成 当轮对话回复。 5.根据权利要求2所述的基于预训练语言模型的零微调拟人会话生成方法， 其特征在 于， 对所述拓展候选集 合进行聚类时， 采用K ‑means聚类算法， 相似度计算公式如下 所示： 权　利　要　求　书 1/2 页 2 CN 114780694 A 2其中cosi ne表示余弦相似度， sk表示一个特定的种子概念， 表示聚类 类别。 6.根据权利要求3所述的基于预训练语言模型的零微调拟人会话生成方法， 其特征在 于， 从整个会话历史中挑选出k个相关对话轮次， 包括 步骤： 针对整个会话历史中的句子， 使用SentenceBert作为编码器， 映射到768维的空间向量 中； 基于以下公式计算相似度； αt‑i*cosine([Ui； Si]， Ut) 其中， cosine表示余弦相 似度, α ＝0.7,代表距离衰减系数,Ui和Si为对话中的语句,对 应第i轮中用户和对话系统产生的对话语句， Ut表示本轮用户的输入语句。 7.根据权利要求6所述的基于预训练语言模型的零微调拟人会话生成方法， 其特征在 于， 基于从历史会话中挑选的相关对话轮次， 使用命名实体识别工具提取其中对应概念， 从 相关知识资源中搜索对应概念， 得到三元组对话， 插 入会话内容中。 8.一种基于预训练语言模型的零 微调拟人会话 生成装置， 其特 征在于， 包括： 离线知识获取模块， 用于基于给定的描述领域的关键词， 获取所述关键词的相关语料， 并进行概念集扩展， 聚合资源以提供相关知识资源； 在线对话生成模块， 用于基于用户会话历史， 选取其中与所述关键词相关的会话轮次， 对所述会话轮次中的对话进行概念抽取， 基于抽取结果得到的概念从知识资源库中寻找相 关资源， 将所述会话轮次文本以及所述资源拼接整合构建引导语,作为大规模预训练语言 模型的输入,输出 结果为对应会话轮次的对话回复。 9.一种计算机设备， 其特征在于， 包括存储器、 处理器及存储在所述存储器上并可在所 述处理器上运行的计算机程序， 所述处理器执行所述计算机程序时， 实现如权利要求 1‑7中 任一所述的方法。 10.一种非临时性计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计 算机程序被处 理器执行时实现如权利要求1 ‑7中任一所述的方法。权　利　要　求　书 2/2 页 3 CN 114780694 A 3