(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210307564.4 (22)申请日 2022.03.25 (71)申请人 北京明略昭辉科技有限公司 地址 100098 北京市海淀区北三环西路25 号27号楼二层2020室 (72)发明人 李犇　张杰　于皓　 (74)专利代理 机构 北京华夏泰和知识产权代理 有限公司 1 1662 专利代理师 曾军 (51)Int.Cl. G06F 16/36(2019.01) G06F 40/186(2020.01) G06F 40/295(2020.01) G06K 9/62(2022.01) (54)发明名称 实体识别模型的训练方法、 装置、 设备及介 质 (57)摘要 本申请涉及一种实体识别模 型的训练方法、 装置、 设备及介质， 其中， 该方法包括： 采集目标 领域的领域数据， 并利用预设知识库对领域数据 中属于目标领域的实体进行标注， 得到第一训练 数据； 对第一训练数据进行数据增强， 得到第二 训练数据； 使用第二训练数据微调 第一识别模型 的模型参数， 直至第一识别模型对目标领域的测 试数据的实体识别准确度达到目标阈值时， 将训 练后的第一识别模型保存 得到第二识别模型。 本 申请利用经过数据增强处理获得的多个训练样 本对语言模 型进行微调优化， 不但减少了人力耗 费和时间成本， 还获得了大量的训练样本， 从而 提高了实体识别模型的准确度。 权利要求书2页 说明书9页 附图3页 CN 114637861 A 2022.06.17 CN 114637861 A 1.一种实体识别模型的训练方法， 其特 征在于， 包括： 采集目标领域的领域数据， 并利用预设知识库对所述领域数据中属于所述目标领域的 实体进行 标注， 得到第一训练数据； 对所述第一训练数据进行 数据增强， 得到第二训练数据； 使用所述第 二训练数据微调第 一识别模型的模型参数， 直至所述第 一识别模型对所述 目标领域的测试数据的实体识别准确度达到目标阈值时， 将训练后的所述第一识别模型保 存得到第二识别模型， 其中， 所述第一识别模型为基于预训练语 言模型构建得到的， 训练前 的所述第一识别模型对所述目标 领域的所述实体识别准确度小于所述目标阈值。 2.根据权利要求1所述的方法， 其特征在于， 所述对所述第一训练数据进行数据增强， 得到第二训练数据包括： 确定所述第一训练数据中标注实体的最长实体长度； 对所述第 一训练数据进行遍历， 以生成多个实体片段， 其中， 所述实体片段的长度小于 或等于所述 最长实体长度； 为每个所述实体片段生成对应的训练数据， 得到所述第二训练数据。 3.根据权利要求2所述的方法， 其特征在于， 所述对所述第一训练数据进行遍历， 以生 成多个实体片段包括： 遍历所述第 一训练数据， 并在遍历到当前字符时， 将所述当前字符作为起始字符， 将所 述当前字符以及所述当前字符之后的预设实体长度的字符逐一作为结束字符， 得到所述多 个实体片段。 4.根据权利要求3所述的方法， 其特征在于， 所述为每个所述实体片段生成对应的训练 数据， 得到所述第二训练数据包括： 确定每个所述实体片段的实体 类型； 将所述第一训练数据、 所述实体片段以及所述实体片段对应的所述实体类型按照目标 编码格式进行编码， 得到所述第二训练数据。 5.根据权利要求4所述的方法， 其特征在于， 所述确定每个所述实体片段的实体类型包 括： 将每个所述实体片段与所述第一训练数据中的所述标注实体进行匹配； 在匹配到与第 一实体片段一致的所述标注实体的情况下， 将所述标注实体的类型确定 为所述第一实体片段的所述实体 类型， 其中， 所述多个实体片段包括所述第一实体片段； 在第二实体片段与 所述标注实体均不一致的情况下， 将所述第 二实体片段的所述实体 类型确定为空类型， 其中， 所述多个实体片段包括所述第二实体片段。 6.根据权利要求5所述的方法， 其特征在于， 所述将所述第一训练数据、 所述实体片段 以及所述 实体片段对应的所述实体类型按照目标编 码格式进行编码， 得到所述第二训练数 据包括： 所述第一训练数据、 所述第 一实体片段以及所述第 一实体片段的所述实体类型填入预 设提示模板， 得到正样本； 将所述第一训练数据、 所述第二实体片段以及所述空类型填入所述预设提示模板， 得 到负样本； 按照预设的正负样本比例对所述负样本进行随机采样， 并将采样得到的所述负样本与权　利　要　求　书 1/2 页 2 CN 114637861 A 2所述正样本作为所述第二训练数据。 7.根据权利要求1所述的方法， 其特征在于， 所述采集目标领域的领域数据， 并利用预 设知识库对所述领域数据中属于所述目标 领域的实体进行 标注， 得到第一训练数据包括： 获取所述预设知识库中与所述目标 领域对应的实体 类型； 利用预设标注策略对所述领域数据进行 标注， 以获得 所述第一训练数据。 8.根据权利要求1至7任一所述的方法， 其特征在于， 得到所述第二识别模型之后， 所述 方法还包括按照如下 方式进行实体识别： 获取所述目标领域中待识别的目标数据， 并将所述目标数据输入至所述第二识别模 型， 以利用所述第二识别模型识别所述目标数据中的目标实体和所述目标实体的实体类 型， 其中， 所述目标实体为所述目标领域内的实体， 所述 实体类型为所述第二识别模型根据 所述目标实体的标签的映射关系确定的； 获得所述第 二识别模型输出的目标标签， 并在标签映射表中确定与 所述目标标签匹配 的所述实体 类型。 9.一种实体识别模型的训练装置， 其特 征在于， 包括： 标注模块， 用于采集目标领域的领域数据， 并利用预设知识库对所述领域数据中属于 所述目标 领域的实体进行 标注， 得到第一训练数据； 增强模块， 用于对所述第一训练数据进行 数据增强， 得到第二训练数据； 训练模块， 用于使用所述第二训练数据微调第一识别模型的模型参数， 直至所述第一 识别模型对所述目标领域的测试数据的实体识别准确度达到目标阈值时， 将训练后的所述 第一识别模型保存得到第二识别模型， 其中， 所述第一识别模型为基于预训练语言模型构 建得到的， 训练前的所述第一识别模型对所述目标领域的所述实体识别准确度小于所述目 标阈值。 10.一种电子设备， 包括存储器、 处理器、 通信 接口及通信总 线， 所述存储器中存储有可 在所述处理器上运行 的计算机程序， 所述存储器、 所述处理器通过所述通信总线和所述通 信接口进行通信， 其特征在于， 所述处理器执行所述计算机程序时实现上述权利要求1至8 任一项所述的方法的步骤。 11.一种具有处理器可执行的非易失的程序代码的计算机可读介质， 其特征在于， 所述 程序代码使所述处 理器执行所述权利要求1至8任一所述方法。权　利　要　求　书 2/2 页 3 CN 114637861 A 3