说明:收录25万 73个行业的国家标准 支持批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211009156.7 (22)申请日 2022.08.22 (71)申请人 前海飞算云创数据科技 (深圳) 有限 公司 地址 518000 广东省深圳市前海深港合作 区前湾一路1号A栋201室(入驻深圳市 前海商务秘书 有限公司) (72)发明人 王吉驰 林庆治  (74)专利代理 机构 北京英创嘉友知识产权代理 事务所(普通 合伙) 11447 专利代理师 王波 (51)Int.Cl. G06Q 40/02(2012.01) G06F 17/18(2006.01) G06K 9/62(2022.01) (54)发明名称 数据筛选方法、 装置、 介质及电子设备 (57)摘要 本公开涉及一种数据筛选方法、 装置、 介质 及电子设备, 涉及数据科学技术领域, 该方法包 括: 获取多种自变量数据以及 多种自变量数据对 应的因变量数据; 再根据因变量数据的数据类型 处理多种自变量数据, 获得多种自变量数据每种 对应的第一筛选系数; 利用预设筛选算法根据多 种自变量数据和因变量数据, 获得多种自变量数 据每种对应的第二筛选系数; 在进行数据筛选 时, 从多种自变量数据中, 筛选出第一筛选系数 大于第一预设阈值, 和/或第二筛选系数大于第 二预设阈值的自变量数据作为目标数据, 通过两 个筛选系数同时筛选, 提高目标数据筛选的准确 率, 并且自动筛选出目标数据, 提高了目标数据 筛选的效率。 权利要求书2页 说明书12页 附图3页 CN 115423600 A 2022.12.02 CN 115423600 A 1.一种数据筛 选方法, 其特 征在于, 包括: 获取多种自变量数据, 并获取 所述多种自变量数据对应的因变量数据; 根据所述因变量数据的数据类型处理所述多种自变量数据, 获得所述多种自变量数据 每种对应的第一筛 选系数; 利用预设筛选算法根据 所述多种自变量数据和所述因变量数据, 获得所述多种自变量 数据每种对应的第二筛 选系数; 从所述多种自变量数据中确定目标数据, 其中, 所述目标数据对应的第一筛选系数大 于第一预设阈值, 和/或所述目标 数据对应的第二筛 选系数大于第二预设阈值。 2.根据权利要求1所述的方法, 其特征在于, 所述根据所述因变量数据的数据类型处理 所述多种自变量数据, 获得 所述多种自变量数据每种对应的第一筛 选系数, 包括: 当所述因变量数据的数据类型为离散型时, 对每种自变量数据中的多个自变量数值进 行分箱处 理, 获得多个分箱; 根据所述多个分箱各自的自变量数值, 计算所述多个分箱各自对应的WOE值, 获得多个 WOE值; 当所述多个WOE值表征出单调性时, 根据所述多个分箱各自对应的WOE值, 计算所述每 种自变量数据对应的第一筛 选系数, 其中, 所述第一筛 选系数为 IV值; 当所述多个WOE值表征出非单调性时, 重新执行所述对每种自变量数据中的多个自变 量数值进行分箱处 理, 获得多个分箱的步骤, 直至 重新获得的多个WOE值表征 出单调性。 3.根据权利要求2所述的方法, 其特征在于, 所述当所述因变量数据的数据类型为离散 型时, 所述对每种自变量数据中的多个自变量数值进行分箱处 理, 获得多个分箱, 包括: 当所述因变量数据的数据类型为离散型时, 针对多种自变量数据中的离散型的自变量 数据, 获取多种离散型的自变量数据中每种在所述多种自变量数据中的占比作为第一占 比, 以及获取每种离散型的自变量数据中坏样本在该种自变量数据中的占比作为第二占 比; 按照预设顺序对多个第一占比进行排序, 获得排序结果; 按照所述排序 结果对所述多种离散型的自变量数据进行排序, 并按照预设卡方值和多 个第二占比, 对排序后的自变量数据进行分箱处 理, 获得所述多个分箱。 4.根据权利要求2所述的方法, 其特征在于, 所述当所述因变量数据的数据类型为离散 型时, 所述对每种自变量数据中的多个自变量数值进行分箱处 理, 获得多个分箱, 包括: 当所述因变量数据的数据类型为离散型时, 针对多种自变量数据中的连续型的自变量 数据, 对每种连续型的自变量数据中的多个自变量数值进行分箱处 理, 获得多个初始分箱; 按照预设卡方值对所述多个初始分箱进行合并处 理, 获得所述多个分箱。 5.根据权利要求1所述的方法, 其特征在于, 所述根据所述因变量数据的数据类型处理 所述多种自变量数据, 获得 所述多种自变量数据每种对应的第一筛 选系数, 包括: 当所述因变量数据的数据类型为连续型时, 获得所述多种自变量数据每种对应的第 一 筛选系数, 所述第一筛 选系数为相关系数。 6.根据权利要求5所述的方法, 其特征在于, 所述当所述因变量数据的数据类型为连续 型时, 获得 所述多种自变量数据每种对应的第一筛 选系数, 包括: 当所述因变量数据的数据类型为连续型, 且所述自变量数据的数据类型为连续型时,权 利 要 求 书 1/2 页 2 CN 115423600 A 2按照perso n相关系数算法计算所述多种自变量数据每种对应的第一筛 选系数。 7.根据权利要求5所述的方法, 其特征在于, 所述当所述因变量数据的数据类型为连续 型时, 获得 所述多种自变量数据每种对应的第一筛 选系数, 包括: 当所述因变量数据的数据类型为连续型, 且所述自变量数据的数据类型为离散型时, 按照spearman相关系数算法计算所述多种自变量数据每种对应的第一筛 选系数。 8.一种数据筛 选装置, 其特 征在于, 所述装置包括: 变量获取模块, 用于获取多种自变量数据, 并获取所述多种自变量数据对应的因变量 数据; 第一系数获取模块, 用于根据所述因变量数据的数据类型处理所述多种自变量数据, 获得所述多种自变量数据每种对应的第一筛 选系数; 第二系数获取模块, 用于利用预设筛选算法根据 所述多种自变量数据和所述因变量数 据, 获得所述多种自变量数据每种对应的第二筛 选系数; 确定模块, 用于从所述多种自变量数据中确定目标数据, 其中, 所述目标数据对应的第 一筛选系 数大于第一预设阈值, 和/或所述 目标数据对应的第二筛选系 数大于第二预设阈 值。 9.一种非临时性计算机可读存储介质, 其上存储有计算机程序, 其特征在于, 该程序被 处理器执行时实现权利要求1 ‑7中任一项所述方法的步骤。 10.一种电子设备, 其特 征在于, 包括: 存储器, 其上存 储有计算机程序; 处理器, 用于执行所述存储器 中的所述计算机程序, 以实现权利要求1 ‑7中任一项所述 方法的步骤。权 利 要 求 书 2/2 页 3 CN 115423600 A 3

PDF文档 专利 数据筛选方法、装置、介质及电子设备

文档预览
中文文档 18 页 50 下载 1000 浏览 0 评论 0 收藏 3.0分
温馨提示:本文档共18页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 数据筛选方法、装置、介质及电子设备 第 1 页 专利 数据筛选方法、装置、介质及电子设备 第 2 页 专利 数据筛选方法、装置、介质及电子设备 第 3 页
下载文档到电脑,方便使用
本文档由 SC 于 2024-03-03 12:15:48上传分享
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。