(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210182490.6 (22)申请日 2022.02.25 (71)申请人 福州大学 地址 350108 福建省福州市闽侯县福州大 学城乌龙江北 大道2号福州大 学 (72)发明人 陈羽中　林宇航　 (74)专利代理 机构 福州元创专利商标代理有限 公司 35100 专利代理师 张灯灿　蔡学俊 (51)Int.Cl. G06F 16/332(2019.01) G06F 16/33(2019.01) G06F 16/36(2019.01) (54)发明名称 基于知识增强与上下文感知的对话状态追 踪方法及系统 (57)摘要 本发明涉及一种基于知识增强与上下文感 知的对话状态追踪方法及系统， 该方法包括以下 步骤： 步骤A： 采集对话上下文和对话状态数据， 构建对话训练集； 步骤B： 使用训练集， 训练基于 知识增强的深度学习网络模型； 步骤C： 将用户与 系统的对话数据依次输入深度学习网络模型中， 输出当前的对话状态。 该方法及系统有利于提高 对话状态追 踪的准确性。 权利要求书5页 说明书12页 附图3页 CN 114564568 A 2022.05.31 CN 114564568 A 1.一种基于知识增强与上 下文感知的对话状态追踪方法， 其特 征在于， 包括以下步骤： 步骤A： 采集对话上 下文和对话状态数据， 构建对话训练集TS； 步骤B： 使用训练集TS， 训练基于知识增强的深度学习网络模型G； 步骤C： 将用户与系统的对话数据依次输入深度学习网络模型G中， 输出当前的对话状 态。 2.根据权利要求1所述的基于知识增强与上下文感知的对话状态追踪方法， 其特征在 于， 所述步骤B具体包括以下步骤： 步骤B1： 对于训练集TS中的一个对话样本的第t回合对话进行编码， 得到初始表征向量 所述第t回合对话当前对话、 对话历史以及对话状态的拼接； 步骤B2： 将对话状态的初始表征向量 输入到多头注意力机制模块， 得到注意力增强 后的对话状态语义表征向量 步骤B3： 将步骤B2得到 的注意力增强后的对话状态语义表征向量 与对话历史初始 表征向量 做交叉注意力门控融合， 得到对话历史与对话状态的融合表征向量 步骤B4： 将当前回合对话的初始表征向量 与步骤B3得到的融合表征向量 进行 词级别拼接， 得到对话上 下文表征向量 步骤B5： 将增强后的域 ‑槽描述通过BERT编码得到初始表征向量 将增强后的域 ‑槽 描述输入知识提取模块得到对应的知识嵌入表征向量 然后将得到的初始表征向量 和知识嵌入表征向量 进行融合， 得到知识增强后的域 ‑槽描述表征向量 步骤B6： 将步骤B4得到的对话上 下文表征向量 与步骤B5得到的表征向量 进行注意 力建模， 得到包 含上下文信息的知识增强的域 ‑槽表征向量 步骤B7： 将步骤B6得到的所有的域 ‑槽表征向量 经过多头注意力建模， 得到最终的 域‑槽表征向量 ΥS； 步骤B8： 对步骤B7得到的域 ‑槽表征向量 与对应域‑槽对的候选槽值通过编码后 的表征向量V ′j∈Vj进行相似度匹配， 选择最相似的槽值作为预测结果； 将预测值与真实值 进行比对计算损失， 利用反向传播算法计算深度网络中各参数的梯度， 并利用随机梯度下 降算法更新 参数； 步骤B9： 当深度学习网络模型产生的损失值小于设定的阈值或达到最大的迭代次数 时， 终止深度学习模型G的训练。 3.根据权利要求2所述的基于知识增强与上下文感知的对话状态追踪方法， 其特征在 于， 所述步骤B1具体包括以下步骤： 步骤B11： 对话训练集表示为 其中N表示训练样本数也即多少 个多回合对话样本； n表示每 一个多回合对话的回合 数， (Dt,Bt‑1,Ht)表示对话训练集中的一 个回合的训练样本； 其中 表示当前回合对 话， 表示除了当 前回合对话外的对话历史， Bt‑1表示当前对话状态且其是模型在预测过程中产生的； 因此，权　利　要　求　书 1/5 页 2 CN 114564568 A 2模型的输入为 其中[cls]与[sep]为特殊token， 用来分隔 输入的各个部分； 步骤B12： 将步骤B12的结果Xt经过BERT编码后拆分得到对应三个部分初始表征： 其中L为当前对话的长度， Lh为当前对话历史的长 度， J表示当前对话状态的长度， d为to ken表征向量的维度。 4.根据权利要求3所述的基于知识增强与上下文感知的对话状态追踪方法， 其特征在 于， 所述步骤B2具体包括以下步骤： 步骤B21： 将步骤B12输出的历史对话状态部分 经过多头注意力建模： 其中 ， 为可学习权重参数 ， SelfAttention (Q ,K ,V) , MultiHeadAttention(Q,K,V)分别为自注意力与多头注意力机制， Concat( ·)函数将h个自 注意力头的输出拼接起 来； 步骤B22： 将步骤B 21的多头输出的拼接结果 映射到原空间， 得到注意力增强后的对 话状态语义表征向量 其中， 为可学习的参数矩阵。 5.根据权利要求4所述的基于知识增强与上下文感知的对话状态追踪方法， 其特征在 于， 所述步骤B3具体包括以下步骤： 步骤B31： 计算交 互注意力矩阵： 其中， 为分别对应对话历史与对话状态的可学习的权重参数矩阵， AT表 示矩阵转置， ab→h,ah→b分别为对话状态对于对话历史以及对话历史对于对话状态的交互注 意力矩阵； 步骤B32： 根据步骤B31得到的交 互注意力矩阵ah→b,ab→h， 计算交互上下文表征： 权　利　要　求　书 2/5 页 3 CN 114564568 A 3