(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211152704.1 (22)申请日 2022.09.21 (71)申请人 中国建设银行股份有限公司 地址 100033 北京市西城区金融大街25号 申请人 建信金融科技有限责任公司 (72)发明人 贾若兰　 (74)专利代理 机构 北京同立钧成知识产权代理 有限公司 1 1205 专利代理师 丁鑫　刘芳 (51)Int.Cl. G06Q 30/02(2012.01) G06K 9/62(2022.01) G06Q 40/00(2012.01) (54)发明名称 模型的性能检测方法和相关 设备 (57)摘要 本发明提供一种模型的性能检测方法和相 关设备， 属于 数据分析技术领域， 该方法包括： 获 取各个用户的用户信息以及标签， 所述标签用于 指示所述用户在预设时间段内是否购买金融产 品； 将各个所述用户信息输入至模型， 得到每个 所述用户的预测值； 根据各个所述用户对应的预 测值以及标签确定模型提升率以及模 型增益率； 根据所述模型提升率 以及所述模型增益率确定 目标参数， 并根据所述目标参数确定所述模型是 否需要进行优化。 本发明中， 通过将用户的信息 输入至模型得到预测值， 再通过各个用户的预测 值以及用户是否购买金融产品的标签确定模型 是否需要优化， 无需人工进行模型性能的监测， 提高了模型的性能监测效率。 权利要求书2页 说明书11页 附图5页 CN 115496532 A 2022.12.20 CN 115496532 A 1.一种模型的性能检测方法， 其特 征在于， 包括： 获取各个用户的用户信 息以及标签， 所述标签用于指示所述用户在预设时间段内是否 购买金融产品； 将各个所述用户信息输入至模型， 得到每个所述用户的预测值， 所述预测值用于预测 所述用户是否购买所述金融产品； 根据各个所述用户对应的预测值以及标签确定模型提升率以及模型增益 率； 根据所述模型提升率以及所述模型增益率确定目标参数， 并根据 所述目标参数确定所 述模型是否需要 进行优化， 所述目标参数用于指示所述模型的性能。 2.根据权利要求1所述的模型的性能检测方法， 其特征在于， 所述根据 各个所述用户对 应的预测值以及标签确定模型提升率， 包括： 根据各个所述用户的标签确定所述金融产品成交的第 一比例， 并按照从大到小的顺序 对所述预测值进行排序； 根据排序后的各个所述预测值获得多个集合， 其中， 所述集合包括的各个所述预测值 对应的排序 序号依次相邻， 且 任一个所述 集合是其他的所述 集合的子集或者母集； 根据所述集合中的各个预测值对应的用户的标签， 确定所述集合对应的所述金融产品 成交的第二比例， 并根据所述第二比例以及第一比例确定所述 集合对应的模型提升率。 3.根据权利要求2所述的模型的性能检测方法， 其特征在于， 所述根据排序后的各个所 述预测值 获得多个集合之后， 所述根据各个所述用户对应的预测值以及标签确定模型增益 率， 包括： 根据各个所述用户的标签确定购买所述金融产品的用户的第一总数量； 根据所述集合中各个预测值对应的用户的标签， 确定所述集合中购买所述金融产品的 用户的第一数量； 根据所述 集合对应的第一数量以及所述第一总数量确定所述 集合对应的模型增益 率。 4.根据权利要求3所述的模型的性能检测方法， 其特征在于， 所述根据 所述模型提升率 以及所述模型增益 率确定目标参数， 包括： 根据各个所述集合对应的模型提升率确定所述模型在所述预设时间段的平均提升率， 并根据各个所述 集合对应的模型增益 率确定所述模型在预设时间段内的平均增益 率； 根据所述平均增益 率以及平均提升率确定目标参数。 5.根据权利要求1所述的模型的性能检测方法， 其特征在于， 所述根据 所述目标参数值 确定模型 是否需要 进行优化包括： 确定所述目标参数与预设阈值之间的差值； 在所述差值与所述预设阈值之间的比值大于预设比值时， 确定所述模型需要进行优 化； 在所述差值与 所述预设阈值之间的比值小于或等于预设比值 时， 确定所述模型不需要 进行优化。 6.根据权利要求1所述的模型的性能检测方法， 其特征在于， 所述根据 所述目标参数确 定所述模型 是否需要 进行优化， 包括： 基于上限的预测值以及下限的预测值划分得到多个分区， 并根据 各个所述用户的标签 确定购买金融产品的用户的第一总数量以及未购买金融产品的用户的第二总数量；权　利　要　求　书 1/2 页 2 CN 115496532 A 2根据各个所述用户对应的预测值以及标签， 确定每个分区对应的用购买金融产品的用 户的第二数量、 未购买金融产品的用户的第三数量； 确定所述第 二数量与 所述第一总数量之间的第 一比值， 并确定所述第 三数量以及所述 第二总数量之间的第二比值； 根据每个所述分区以及对应的第 一比值确定第 一曲线， 并根据 各个所述分区以及对应 的第二比值确定第二曲线； 根据所述第 一曲线与 所述第二曲线在坐标系合围构 成的区域所对应的面积， 以及所述 目标参数确定所述模型 是否需要 进行优化。 7.根据权利要求6所述的模型的性能检测方法， 其特征在于， 所述根据 所述第一曲线与 所述第二曲线在坐标系合围构成的区域所对应的面积， 以及所述目标参数确定所述模型是 否需要进行优化， 包括： 确定所述目标参数与预设阈值之间的差值； 在所述差值与所述预设阈值之间的比值大于预设比值， 且所述面积小于预设面积时， 确定所述模型需要 进行优化； 在所述差值与 所述预设阈值之间的比值大于预设比值， 且所述面积大于或等于预设面 积时， 确定所述模型需要 进行性能监控； 在所述差值与 所述预设阈值之间的比值小于或等于预设比值， 且所述面积大于或等于 预设面积时， 确定所述模型不需要 进行优化。 8.一种模型的性能检测装置， 其特 征在于， 包括： 获取模块， 用于获取各个用户的用户信息以及标签， 所述标签用于指示所述用户在预 设时间段内是否购买金融产品； 输入模块， 用于将各个所述用户信 息输入至模型， 得到每个所述用户的预测值， 所述预 测值用于预测所述用户是否购买所述金融产品； 确定模块， 用于根据 各个所述用户对应的预测值以及标签确定模型提升率以及模型增 益率； 所述确定模块， 用于根据所述模型提升率以及所述模型增益率确定目标参数， 并根据 所述目标参数确定所述模型 是否需要 进行优化， 所述目标参数用于指示所述模型的性能。 9.一种模型的性能检测设备， 其特 征在于， 包括： 存 储器以及处 理器； 所述存储器存储计算机执 行指令； 所述处理器执行所述存储器存储的计算机执行指令， 使得所述处理器执行如权利要求 1至7任一项所述的模型的性能检测方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质中存储有计算机 执行指令， 所述计算机执行指 令被处理器执行时用于实现如权利要求 1至7任一项 所述的模 型的性能检测方法。 11.一种计算机程序产品， 包括计算机程序， 其特征在于， 所述计算机程序被处理器执 行时实现权利要求1 ‑7中任一项所述的模型的性能检测方法。权　利　要　求　书 2/2 页 3 CN 115496532 A 3