(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211200198.9 (22)申请日 2022.09.29 (65)同一申请的已公布的文献号 申请公布号 CN 115271272 A (43)申请公布日 2022.11.01 (73)专利权人 华东交通大 学 地址 330000 江西省南昌市经济技 术开发 区双港东大街808号 (72)发明人 李广丽　许广鑫　吴光庭　李传秀　 叶艺源　张红斌　 (74)专利代理 机构 北京中济纬天专利代理有限 公司 11429 专利代理师 黄攀 (51)Int.Cl. G06Q 10/04(2012.01) G06Q 30/02(2012.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)(56)对比文件 CN 112395876 A,2021.02.23 CN 114241007 A,202 2.03.25 CN 113887694 A,202 2.01.04 US 201310 6682 A1,2013.0 5.02 CN 114781503 A,2022.07.22 CN 110870019 A,2020.0 3.06 CN 112967088 A,2021.0 6.15 CN 111563770 A,2020.08.21 CN 113962384 A,202 2.01.21 CN 113344615 A,2021.09.0 3 CN 111325579 A,2020.0 6.23 US 2022076136 A1,202 2.03.10 CN 115048855 A,2022.09.13 Huifeng G. .DeepFM: An End-to- End Wide & Deep Learn ing Framew ork for CTR Predicti on. 《Researc hGate》 .2018, 李广丽 等.相关性视 觉对抗贝叶斯个性 化 排序推荐 模型. 《工程科 学与技术》 .2022, (续) 审查员 秦鲲 (54)发明名称 多阶特征优化与混合型知识蒸馏的点击率 预测方法与系统 (57)摘要 本发明提出一种多阶特征优化与混合型知 识蒸馏的点击率预测方法与系统， 通过分析用户 行为数据和用户点击的广告数据， 构建用户行为 数据和广告数据的嵌入特征向量， 围绕嵌入特征 向量， 联合SENET网络、 域特征交互、 CIN模型以及 DNN模型， 实现多阶特征优化， 生成能精准描述用 户兴趣的特征； 然后设计混合型知识蒸馏框架， 基于该混合型知识蒸馏框架输出实时推理能力 更强且推荐精度优良的轻量级 点击率预测模型， 以实现高效优质的广告点击预测， 提升用户推荐 体验， 为互联网公司创造良好的经济和社会效 益。 [转续页] 权利要求书5页 说明书8页 附图3页 CN 115271272 B 2022.12.27 CN 115271272 B (56)对比文件 李致贤.基 于深度网络模型压缩的广告点击 率预估模型研究. 《中国优秀硕士学位 论文全文 库 信息科技》 .202 2, Ping Yuan.Ho w to Measure The Operating Efficiency of I nternet Group-Buying Platform?. 《Procedia Computer Science》 .2015, 鲍俊梅.基 于浅层模型与深度模型融合的点 击率预测模型研究. 《中国优秀硕士学位 论文全 文库 信息科技》 .202 2,2/2 页 2[接上页] CN 115271272 B1.一种多阶特征优化与混合型知识蒸馏的点击率预测方法， 其特征在于， 所述方法包 括如下步骤： 步骤一， 数据预处 理： 对获取的原始用户行为数据与已点击广告数据进行特征提取， 并进行独热编码转化， 以分别得到用户行为特 征嵌入向量以及广告特 征嵌入向量； 步骤二， 模型训练： 将用户行为特征嵌入向量与广告特征嵌入向量输入SENET网络， 然后执行基于通道注 意力的特 征优化， 以生成第一阶特 征； 构建域特征交互网络， 对已获取的所述第 一阶特征执行基于域对对称矩阵嵌入的特征 优化， 以生成第二阶特 征； 将所述第一阶特征输入至压缩交互网络 中以输出得到显式高阶特征， 将所述第 二阶特 征输入至深度神经网络中以输出得到隐式高阶特征， 加权拼接所述显式高阶特征与隐式高 阶特征， 以融合 生成第三阶特 征， 并基于所述第三阶特 征生成点击率预测模型； 步骤三， 点击率预测； 预训练点击率预测模型、 AutoInt模型以及DIFM模型， 然后分别进行自蒸馏后进行联合 以构建得到教师网络； 预训练DN N模型以及FM模型， 然后进行相互蒸馏后进行组合以构建得到学生网络； 设计门控网络， 在教师网络中通过门控网络计算教师模型知识权重， 基于教师模型知 识权重， 教师网络对学生网络中的各学生模型进行点击率预测指导， 以实现混合型知识蒸 馏； 其中， 所述教师模型知识权 重表示教师模型指导学生网络中各 学生模型的知识权 重； 步骤四， 广告推荐； 将混合型知识蒸馏输出的学生网络进行线上部署， 以获得多个预测值并进行降序排 列， 选取预测值最高的预设数量的广告推荐给用户， 以完成点击率预测； 在所述步骤二中， 将所述第 一阶特征输入至压缩交互网络 中以输出得到显 式高阶特征 的方法， 显式 高阶特征的生成公式为： 其中， 表示第 层高阶矩阵中的第 个高阶特征向量， 表示第 层高阶矩阵中的 第 个高阶特征向量， 表示第一阶特征中的第 个特征值， ， 表示第一阶特征生 成第 层高阶特征向量的第 个高阶特征的参数矩阵， 表示第0层特征嵌入向量的个数， 表示第 层特征嵌入向量的个数， 表示第 层高阶特征向量中的第 个特征， 表 示第 层高阶特征向量中第 个特征的第 维度的特征向量， 表示最终生成 的显式高阶特 征， 表示显式 高阶特征的总层数， 表示哈达 玛积； 在将所述第 二阶特征输入至深度神经网络中以输出得到隐式高阶特征的方法中， 隐式 高阶特征的生成公式为：权　利　要　求　书 1/5 页 2 CN 115271272 B 3