(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210051393.3 (22)申请日 2022.01.17 (71)申请人 深圳大学 地址 518060 广东省深圳市南 山区南海大 道3688号 (72)发明人 蔡树彬　何日安　明仲　 (74)专利代理 机构 深圳市君胜知识产权代理事 务所(普通 合伙) 44268 代理人 朱阳波 (51)Int.Cl. G06F 40/284(2020.01) G06F 16/36(2019.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于注意力机制的自蒸馏中文分词方法、 终 端及存储介质 (57)摘要 本发明公开了基于注意力机制的自蒸馏中 文分词方法、 终端及存储介质， 其中， 方法包括： 将预处理后的训练集引入预训练模 型； 通过迭代 训练获得教师模 型； 通过所述 教师模型与学生模 型获取注 意力权重矩阵； 将所述注 意力权重矩阵 引入知识蒸馏过程， 对所述学生模 型进行有针对 性的学习训练； 通过验证集对学习训练所获得的 整个模型进行验证， 得到蒸馏后的中文分词模 型。 本发明通过自蒸馏可以达到优化模 型自身结 构的目标， 且进一步利用注意力机制有侧重点地 学习被蒸馏的知识， 提高了模型识别未登录词的 能力， 从而较好地解决了 现有中文分词模型无法 准确处理未登录词的问题。 权利要求书2页 说明书8页 附图3页 CN 114386409 A 2022.04.22 CN 114386409 A 1.一种基于注意力机制的自蒸馏中文分词方法， 其特征在于， 所述基于注意力机制的 自蒸馏中文分词方法包括以下步骤： 将预处理后的训练集引入预训练模型； 通过迭代训练获得教师模型； 通过所述教师模型与学生模型获取注意力权 重矩阵； 将所述注意力权重矩阵引入知识蒸馏过程， 对所述学生模型进行有针对性的学习训 练； 通过验证集对学习训练所获得的整个模型进行验证， 得到蒸馏后的中文分词模型。 2.根据权利要求1所述的基于注意力 机制的自蒸馏中文分词方法， 其特征在于， 所述将 预处理后的训练集引入预训练模型， 之前包括： 从原训练集中获取中文分词 词典； 从所述原训练集中随机抽取第一比例的数据作为所述训练集； 从所述原训练集中随机抽取第二比例的数据作为所述验证集。 3.根据权利要求1所述的基于注意力 机制的自蒸馏中文分词方法， 其特征在于， 所述将 预处理后的训练集引入预训练模型， 之前还 包括： 将所述训练集中的字符串转化为字符 向量， 并将所述字符 向量与用于表达字符位置的 位置向量结合， 得到所述预处 理后的训练集。 4.根据权利要求1所述的基于注意力 机制的自蒸馏中文分词方法， 其特征在于， 所述通 过迭代训练获得教师模型， 包括： 通过所述验证集对所述学生模型进行验证， 判断所述学生模型获得的F1值是否达到历 史最高； 若为是， 则将所述学生模型保存为下一迭代过程中的教师模型。 5.根据权利要求1所述的基于注意力 机制的自蒸馏中文分词方法， 其特征在于， 所述通 过教师模型与学生模型获取注意力权 重矩阵， 包括： 计算所述学生模型输出的预测分词结果与真实分词结果之间的第一差异信息； 计算所述教师模型输出的预测分词结果与真实分词结果之间的第二差异信息； 通过所述第一差异信息和所述第二差异信息获得 所述注意力权 重矩阵。 6.根据权利要求1所述的基于注意力 机制的自蒸馏中文分词方法， 其特征在于， 所述将 注意力权 重矩阵引入知识蒸馏过程， 对所述学生模型进行有针对性的学习训练， 包括： 通过所述注意力权 重矩阵计算所述学生模型的整体损失； 将所述整体损失反向传播至所述学生模型， 以更新所述学生模型中各节点的参数信 息。 7.根据权利要求6所述的基于注意力 机制的自蒸馏中文分词方法， 其特征在于， 所述通 过注意力权 重矩阵计算所述学生模型的整体损失， 包括： 将所述注意力权重矩阵分别与所述学生模型输出的预测分词结果和所述教师模型输 出的预测分词结果进行交 互， 得到交 互信息； 根据所述交 互信息进行知识蒸馏， 计算蒸馏损失； 通过所述蒸馏损失与常规交叉熵损失计算所述学生模型的整体损失。 8.根据权利要求1所述的基于注意力 机制的自蒸馏中文分词方法， 其特征在于， 所述基权　利　要　求　书 1/2 页 2 CN 114386409 A 2于注意力机制的自蒸馏中文分词方法， 还 包括： 对迭代训练完成后的整体模型进行中文分词测试。 9.一种终端， 其特征在于， 包括： 处理器以及存储器， 所述存储器存储有基于注意力机 制的自蒸馏中文分词程序， 所述基于注意力机制的自蒸馏中文分词程序被所述处理器执行 时用于实现如权利要求1 ‑8中任意一项所述的基于注意力机制的自蒸馏中文分词方法。 10.一种存储介质， 其特征在于， 所述存储介质为计算机可读存储介质， 所述存储介质 存储有基于注意力机制的自蒸馏中文分词程序， 所述基于注意力机制的自蒸馏中文分词程 序被处理器执行时用于实现如权利要求1 ‑8中任意一项所述的基于注意力机制的自蒸馏中 文分词方法。权　利　要　求　书 2/2 页 3 CN 114386409 A 3