(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210090493.7 (22)申请日 2022.01.25 (71)申请人 阿里巴巴 （中国） 有限公司 地址 310000 浙江省杭州市滨江区长河街 道网商路69 9号4号楼5楼5 08室 (72)发明人 耿瑞莹　黎槟华　石翔　惠彬原　 孙健　李永彬　 (74)专利代理 机构 北京众达德权知识产权代理 有限公司 1 1570 专利代理师 南海燕 (51)Int.Cl. G06F 16/36(2019.01) G06F 40/35(2020.01) G06F 16/242(2019.01) (54)发明名称 建立预训练语 言模型的方法、 语义解析方法 和装置 (57)摘要 本申请实施例公开了一种建立预训练语言 模型的方法、 语义解析方法和装置。 技术方案包 括： 获取第一训练数据， 第一训练数据包括多于 一组的多轮对话样本对和关联表格的模式信息， 多轮对话样本对包括一个对话中的多个由自然 语言文本及其对应的结构化查询语言(SQL)语句 构成的样 本对； 利用第一训练数据训练得到包括 嵌入(Embedding)层和 转换(Transformer)网络 的预训练语言模型； 在训练过程中， 将自然语言 文本、 该自然语 言文本的上下文以及模式信息构 成的输入序列输入预训练语言模 型， 执行会话语 义解析任务、 对话编辑策略预测任务、 掩码预测 任务和列标签预测任务中的至少一种。 本申请适 用于需要 对结构化表格数据进行建模的场景。 权利要求书3页 说明书21页 附图12页 CN 114547329 A 2022.05.27 CN 114547329 A 1.建立预训练语言模型的方法， 所述方法包括： 获取第一训练数据， 所述第 一训练数据包括多于一组的多轮对话样本对和关联表格的 模式信息， 所述多轮对话样本对包括一个对话中的多个由自然语言文本及其对应的结构化 查询语言SQ L语句构成的样本对； 利用所述第一训练数据训练得到包括嵌入层和Transformer网络的预训练语言模型， 所述Transformer网络为结合注意力机制和前馈神经网络的编码 网络， 所述预训练语言模 型用以提取所输入自然语言文本的向量表示； 在训练过程中， 将自然语 言文本、 该自然语言 文本的上下文以及所述模式信息构成的输入序列作为所述预训练语言模型的输入， 执行会 话语义解析任务、 对话编辑策略预测任务、 掩码预测任务和列标签预测任务中的至少一种； 所述会话语义解析任务用以预测所输入自然语言文本及其上下文与所述模式信息的 语义关系； 所述对话编辑策略预测任务用以预测所输入自然语言文本相比较其上下文所采用的 编辑策略； 所述掩码预测任务用以预测所述输入序列中被掩码的字符内容； 所述列标签预测任务用以预测所输入自然语言文本对应的SQL语句覆盖的关联表格的 列名称。 2.根据权利要求1所述的方法， 其中， 所述获取第一训练数据包括： 获取多个由自然语言文本和SQ L语句构成的样本对； 将各样本对分别作为首轮对话的样本对， 生成后续 N轮对话的样本对， 所述 N为正整数； 将首轮对话的样本对及其后续 N轮对话的样本对， 构成一组多轮对话样本对。 3.根据权利要求2所述的方法， 其中， 所述获取多个由自然语言文本和SQL语句构成的 样本对包括： 获取SQL语法树， 其中所述SQ L语法树是利用SQ L语法规则预 先生成的； 利用所述SQ L语法树结合采样的表格数据， 生成一个以上的SQ L语句； 基于预先配置的话术模板， 分别针对各SQL语句生成对应的自然语言文本， 以得到多个 样本对。 4.根据权利要求2所述的方法， 其中， 所述将各样本对分别作为首轮对话的样本对， 生 成后续N轮对话的样本对 包括： 将所述首轮对话的样本对作为当前轮次的样本对； 从预设的编辑策略集 合中确定适用于当前轮次的样本对的编辑策略； 从确定的编 辑策略中采样一个编 辑策略， 利用采样的编辑策略分别对当前轮次的样本 对中的SQL语句和自然语言文本进行编辑， 得到编辑后的SQL语句和自然语 言文本作为下一 轮对话的样本对； 将编辑得到的所述下一轮对话的样本对作为当前轮次的样本对， 转至执行所述从预设 的编辑策略集合中确定适用于 当前轮次的样本对的编辑策略的操作， 直至得到首轮对话的 样本对之后N轮对话的样本对。 5.根据权利要求1所述的方法， 其中， 所述第一训练数据还包括； 针对各样本对中自然 语言文本与所述关联表格的模式信息所标注的语义依存图， 所述语义依存图包括节点和 边， 节点包括自然语言文本中的词和所述关联表格的列名称， 边指示节点之间的语义关系；权　利　要　求　书 1/3 页 2 CN 114547329 A 2所述会话语义解析任务用以预测所输入自然语言文本及其上下文与所述关联表格的 模式信息的语义依存图， 该任务的训练目标为最小化预测结果与训练样本中对应标注的差 异。 6.根据权利要求1或4所述的方法， 其中， 所述编辑策略包括以下至少一种： 增加条件、 修改条件、 删除条件、 修改焦点、 修改聚合函数、 删除焦点、 重启、 拒绝识别和 表格切换。 7.根据权利要求1所述的方法， 其中， 所述自然语言文本的上下文包括： 在一个对话中 该自然语言文本的历史自然语言文本， 或者， 历史SQL语句， 或者， 历史SQL语句 对应的语义 图； 其中， 所述语义图包括节点和边， 所述节点包括操作关键词、 条件关键词、 焦点参数和 条件参数， 所述 边包括聚合 函数和条件运 算符。 8.建立语义 解析模型的方法， 所述方法包括： 获取第二训练数据， 所述第 二训练数据包括多于一组的多轮对话样本对和关联表格的 模式信息， 所述多轮对话样本对包括一个对话中的多个由自然语言文本及其对应的结构化 查询语言SQ L语句构成的样本对； 利用所述第二训练数据训练包括编码器和解码器的语义解析模型； 在训练过程中， 将 所输入自然语言文本、 该自然语言文本的上下文以及所述模式信息构成的输入序列作为所 述编码器的输入， 由所述编码器输出该自然语言文本的向量表示； 所述解码器利用该自然 语言文本的向量表示输出SQL语句， 所述语义解析模型 的训练目标为最小化所述解码器的 输出结果与所述第二训练数据中所述所输入自然语言文本对应的SQ L语句的差异； 其中， 所述编码器采用由权利要求1至7中任一项所述方法建立的预训练语言模型。 9.根据权利要求8所述的方法， 其中， 所述获取第二训练数据包括： 从第一训练数据中采样一组以上的多轮对话样本对， 获取人工针对所采样的多轮对话 样本对中的自然语言文本进行的校对结果； 利用校对后的多轮对话样本对作为所述第二训 练数据。 10.语义解析方法， 所述方法包括： 获取用户所输入问题对应的自然语言文本、 同一对话中该自然语言文本的上下文以及 关联表格的模式信息； 将所述自然语言文本、 所述自然语言文本的上下文以及所述模式信 息构成的输入序列 输入语义 解析模型， 得到所述语义 解析模型输出的SQ L语句； 其中， 所述语义 解析模型采用如权利要求9或10中任一项所述的方法预 先建立。 11.根据权利要求10所述的方法， 该 方法还包括： 利用所述SQ L语句查询所述关联表格； 利用查询结果 生成所述问题对应的答案 。 12.建立预训练语言模型的装置， 所述装置包括： 第一数据获取单元， 被配置为获取第一训练数据， 所述第一训练数据包括多于一组的 多轮对话样本对和关联表格的模式信息， 所述多轮对话样本对包括一个对话中的多个由自 然语言文本及其对应的结构化 查询语言SQ L语句构成的样本对； 第一模型训练单元， 被配置为利用所述第一训练数据训练得到包括嵌入层和权　利　要　求　书 2/3 页 3 CN 114547329 A 3