说明:收录25万 73个行业的国家标准 支持批量下载
文库搜索
切换导航
文件分类
频道
联系我们
问题反馈
文件分类
联系我们
问题反馈
批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211041141.9 (22)申请日 2022.08.29 (71)申请人 中电金信软件 有限公司 地址 100082 北京市海淀区西小口路6 6号 东升科技园C区4 号楼401室 (72)发明人 赵碧波 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 梁韬 (51)Int.Cl. G06F 16/2455(2019.01) G06F 16/22(2019.01) (54)发明名称 一种基于规则引擎的数据整合方法及数据 整合装置 (57)摘要 本申请提供了一种基于规则引擎的数据整 合方法及数据整合装置, 包括: 获取每个数据源 在当前数据采集周期内产生的增量数据表; 根据 规则引擎中配置的数据表信息, 确定每个数据源 产生的每张增量数据表的数据表类型; 针对属于 多值数据表类型的每个多值增量数据表, 将该多 值增量数据表中的增量数据叠加到目标系统的 数据库中; 针对属于单值数据表类型的每个单值 增量数据表, 根据规则引擎中配置的规则信息和 每个单值增量数据表中的增量数据, 对目标系统 的数据库中的数据进行覆盖。 这样, 能够根据规 则引擎的配置信息, 基于各数据源产生的增量数 据表中的增量数据自动进行数据整合, 配置信息 灵活易变更, 从而 减少编程 开发的工作量。 权利要求书2页 说明书10页 附图3页 CN 115391403 A 2022.11.25 CN 115391403 A 1.一种基于规则引擎的数据整合方法, 其特 征在于, 所述数据整合方法包括: 获取每个数据源在当前 数据采集周期内产生的增量数据表; 根据规则引擎中配置的数据表信 息, 确定每个数据源产生的每张增量数据表的数据表 类型; 其中, 所述数据表类型包括数据表中单个字段可对应多个值的多值数据表类型和数 据表中单个字段只对应单个值的单值数据表类型; 针对属于所述多值数据表类型的每个多值增量数据表, 将该多值增量数据表中的增量 数据叠加到目标系统的数据库中; 针对属于所述单值数据表类型的每个单值增量数据表, 根据所述规则引擎中配置的规 则信息和每个单值增量数据表中的增量数据, 对所述目标系统的数据库中的数据进行覆 盖。 2.根据权利要求1所述的数据整合方法, 其特征在于, 所述规则信 息中包括每个数据源 的优先级标识; 所述针对属于所述单值数据表类型 的每个单值增 量数据表, 根据所述规则 引擎中配置的规则信息和每个单值增量数据 表中的增量数据, 对所述目标系统的数据库中 的数据进行覆盖, 包括: 针对数据内容相同的每组单值增量数据表, 根据 该组中每个单值增量数据表对应的数 据源的优先级标识, 确定该组中每 个单值增量数据表之间的优先级顺序; 根据所述优先级顺序, 从优先级最低的单值增量数据表开始, 依次将每个单值增量数 据表中的增量数据覆盖 到所述目标系统的数据库。 3.根据权利要求2所述的数据整合方法, 其特征在于, 所述规则信 息中还包括数据源产 生的单值增量数据表中的优先字段名; 在根据所述优先级顺序, 从优先级最低的单值增量 数据表开始, 依次将每个单值增量数据表中的增量数据覆盖到所述目标系统的数据库之 后, 所述针对属于所述单值数据表类型 的每个单值增 量数据表, 根据所述规则引擎中配置 的规则信息和每个单值增量数据 表中的增量数据, 对所述目标系统的数据库中的数据进 行 覆盖, 还包括: 从每个单值增量数据表中拆解出该单值增量数据表中的每个优先字段名对应的字段 值; 根据每个优先字段名对应的字段值, 对所述目标系统 的数据库中相应字段的字段值进 行覆盖。 4.根据权利要求3所述的数据整合方法, 其特征在于, 所述规则信 息中还包括每个优先 字段名的字段优先级标识; 所述根据每个优先字段名对应的字段值, 对所述 目标系统的数 据库中相应字段的字段值进行覆盖, 包括: 针对多个单值增量数据表中的名称相同的优先字段名, 根据每个优先字段名的字段优 先级标识, 确定名称相同的优先字段名之间的字段优先级顺序; 根据所述字段优先级顺序, 从字段优先级最低的优先字段名开始, 依次根据每个优先 字段名对应的字段值, 对所述目标系统的数据库中相应字段的字段值进行覆盖 。 5.根据权利要求1所述的数据整合方法, 其特征在于, 所述获取每个数据源在当前数据 采集周期内产生的增量数据表, 包括: 针对每个数据源, 获取该数据源在当前数据采集周期结束时的第 一全量数据和该数据 源在上一个数据采集周期结束时的第二全量数据;权 利 要 求 书 1/2 页 2 CN 115391403 A 2通过比对所述第 一全量数据和所述第 二全量数据, 确定该数据源在 当前数据采集周期 内产生的增量数据表。 6.一种基于规则引擎的数据整合装置, 其特 征在于, 所述数据整合装置包括: 获取模块, 用于获取每 个数据源在当前 数据采集周期内产生的增量数据表; 确定模块, 用于根据规则引擎中配置的数据表信息, 确定每个数据源产生的每张增量 数据表的数据表类型; 其中, 所述数据表类型包括数据表中单个字段可对应多个值的多值 数据表类型和数据表中单个字段只对应单个值的单值数据表类型; 叠加模块, 用于针对属于所述多值数据表类型的每个多值增量数据表, 将该多值增量 数据表中的增量数据叠加到目标系统的数据库中; 覆盖模块, 用于针对属于所述单值数据表类型的每个单值增量数据表, 根据所述规则 引擎中配置的规则信息和每个单值增量数据 表中的增量数据, 对所述目标系统的数据库中 的数据进行覆盖 。 7.根据权利要求6所述的数据整合装置, 其特征在于, 所述规则信 息中包括每个数据源 的优先级标识; 所述覆盖模块在用于针对属于所述单值数据表类型的每个单值增量数据 表, 根据所述规则引擎中配置的规则信息和每个单值增量数据表中的增 量数据, 对所述 目 标系统的数据库中的数据进行覆盖时, 所述覆盖模块用于: 针对数据内容相同的每组单值增量数据表, 根据 该组中每个单值增量数据表对应的数 据源的优先级标识, 确定该组中每 个单值增量数据表之间的优先级顺序; 根据所述优先级顺序, 从优先级最低的单值增量数据表开始, 依次将每个单值增量数 据表中的增量数据覆盖 到所述目标系统的数据库。 8.根据权利要求7所述的数据整合装置, 其特征在于, 所述规则信 息中还包括数据源产 生的单值增量数据表中的优先字段名; 在根据所述优先级顺序, 从优先级最低的单值增量 数据表开始, 依次将每个单值增量数据表中的增量数据覆盖到所述目标系统的数据库之 后, 所述覆盖模块在用于针对属于所述单值数据表类型 的每个单值增量数据表, 根据所述 规则引擎中配置的规则信息和每个单值增量数据 表中的增量数据, 对所述目标系统的数据 库中的数据进行覆盖时, 所述覆盖模块还用于: 从每个单值增量数据表中拆解出该单值增量数据表中的每个优先字段名对应的字段 值; 根据每个优先字段名对应的字段值, 对所述目标系统 的数据库中相应字段的字段值进 行覆盖。 9.一种电子设备, 其特征在于, 包括: 处理器、 存储器和总线, 所述存储器存储有所述处 理器可执行 的机器可读指令, 当电子设备运行时, 所述处理器与所述存储器之间通过所述 总线进行通信, 所述机器可读指 令被所述处理器运行时执行如权利要求 1至5任一所述的一 种基于规则引擎的数据整合方法的步骤。 10.一种计算机可读存储介质, 其特征在于, 所述计算机可读存储介质上存储有计算机 程序, 所述计算机程序被处理器运行时执行如权利要求 1至5任一所述的一种基于规则引擎 的数据整合方法的步骤。权 利 要 求 书 2/2 页 3 CN 115391403 A 3
专利 一种基于规则引擎的数据整合方法及数据整合装置
文档预览
中文文档
16 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
赞助2元下载(无需注册)
温馨提示:本文档共16页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
下载文档到电脑,方便使用
赞助2元下载
本文档由 人生无常 于
2024-03-18 17:14:55
上传分享
举报
下载
原文档
(528.7 KB)
分享
友情链接
奇安信 安全内生从框架开始.pdf
T-CEC 694—2022 变电站二次系统数字化设计编码规范.pdf
GB-T 42381.120-2023 数据质量 第120部分:主数据:特征数据交换:溯源性.pdf
GB-T 30354-2013 食用植物油散装运输规范.pdf
数字化转型下的网络安全与弹性 安全内参.pdf
GB-T 10357.4-2023 家具力学性能试验 第4部分:柜类稳定性.pdf
GB-T 21648-2023 金属丝编织密纹网.pdf
T-CEC 719—2022 电力科技成果评价规范.pdf
GB-T 43795-2024 磁性氧化物制成的磁心机械强度测试方法.pdf
burp web cache poisoning web缓存投毒 英文版.pdf
GB-T 29755-2013 中空玻璃用弹性密封胶.pdf
GB-T 37539-2019 火电厂腐蚀控制工程全生命周期要求.pdf
飞驰云联 企业数据防泄密产品选型指南 2021.pdf
T-GZAS 018—2022 数据要素安全可信流通技术标准.pdf
GB-T 42449-2023 系统与软件工程 功能规模测量 IFPUG方法.pdf
GB-T 42442.1-2023 智慧城市 智慧停车 第1部分:总体要求.pdf
DB52-T 1041-2015 贵州省红粘土和高液限土路基设计与施工技术规范 贵州省.pdf
YDT 4403-2023 开源项目选型参考框架.pdf
GB-T 42107-2022 国家科技重大专项文件归档与档案管理规范.pdf
GB-T 32737-2016 土壤硝态氮的测定 紫外分光光度法.pdf
交流群
-->
1
/
3
16
评价文档
赞助2元 点击下载(528.7 KB)
回到顶部
×
微信扫码支付
2
元 自动下载
官方客服微信:siduwenku
支付 完成后 如未跳转 点击这里 下载
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们
微信(点击查看客服)
,我们将及时删除相关资源。