(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211256317.2 (22)申请日 2022.10.14 (71)申请人 中孚安全技 术有限公司 地址 250000 山东省济南市高新区经十路 7000号汉峪金谷A1- 5号楼24层 (72)发明人 杨尚伟　李言非　程海军　 (74)专利代理 机构 济南舜源专利事务所有限公 司 37205 专利代理师 杨旭 (51)Int.Cl. G06F 16/28(2019.01) G06F 16/2455(2019.01) (54)发明名称 一种混合架构的数据仓库系统及实现方法 (57)摘要 本申请公开了一种混合架构的数据仓库系 统及实现方法， 主要涉及数据仓库技术领域， 用 以解决现有的传统数据仓库技术难以支持大数 据的处理， 而大数据技术应用支持上存在缺陷等 问题。 包括： 实时数据仓库， 用于存储实时业务数 据； 获取预设结构化数据， 检测实时业务数据是 否异常； 历史数据仓库， 用于存储预设结构化数 据； 根据预设处理逻辑处理预设结构化数据； 归 档数据仓库， 用于存储预设非结构化数据， 以及 存储预设结构化数据； 数据总线， 用于接收预设 系统上传的预设结构化数据或预设非结构化数 据； 展示数据查询指令对应的预设结构化数据或 预设非结构化数据。 本申请通过上述方法实现了 小数据的实时汇总处 理， 大数据的处 理和展示。 权利要求书2页 说明书4页 附图1页 CN 115329015 A 2022.11.11 CN 115329015 A 1.一种混合架构的数据仓库系统， 其特 征在于， 所述系统包括： 实时数据仓库， 用于通过基于内存的数据仓库存储预设系统在第 一时间段内生成的实 时业务数据； 获取 预设结构化数据， 基于预设检测逻辑， 检测所述实时业 务数据是否异常； 历史数据仓库， 用于通过预设关系型数据仓库存储预设系统在第 二时间段内生成的预 设结构化数据； 根据预设处理逻辑处理所述预设结构化数据； 其中， 所述第二时间段大于所 述第一时间段， 预设结构化数据包 含实时业 务数据； 归档数据仓库， 用于通过预设大数据 数据仓库存储预设系统在第 三时间段内生成的预 设非结构化数据， 以及存 储预设结构化数据； 其中， 所述第三时间段 大于第二时间段； 数据总线， 用于接收预设系统上传的预设结构化数据或预设非结构化数据； 通过预设 查询界面 获取数据查询指 令， 展示所述数据查询指 令对应的预设结构化数据或预设非结构 化数据。 2.根据权利要求1所述的混合架构的数据仓库系统， 其特征在于， 所述实时数据仓库包 括数据存 储层； 所述数据存储层， 用于通过Redis数据库获取预设系 统在第一时间段内生成的实时业 务数据； 通过MySQ L数据库从历史数据仓库中获取当日预设结构化数据。 3.根据权利要求2所述的混合架构的数据仓库系统， 其特征在于， 所述实时数据仓库还 包括应用层； 所述应用层至少 包括： 数据服务池模块、 事务处理模块、 批处理模块、 SQL适配 器； 所述数据服 务池模块， 用于通过 预设检测逻辑组件检测实时业 务数据是否异常； 所述事务处 理模块， 用于在检测到实时业 务数据异常时， 启动数据回滚； 所述批处 理模块； 用于基于所述当日预设结构化数据， 核对实时业 务数据； 所述SQL适配器， 用于封装对基于内存的数据仓库的访问。 4.根据权利要求3所述的混合架构的数据仓库系统， 其特征在于， 所述数据服务池模块 还包括参数配置单 元； 所述参数配置单 元， 用于通过后端界面获取 所述预设检测逻辑组件 对应的配置参数。 5.根据权利要求1所述的混合架构的数据仓库系统， 其特征在于， 所述历史数据仓库包 括： 数据转换模块、 数据处 理模块、 ETL调度模块； 所述数据转换模块， 用于向预设系统下发数据标准化规则， 以使预设系统向预设数据 标准接口上传已标准 化处理的预设结构化数据； 所述数据处理模块， 用于基于ETL预设结构化数据调度至预设ODS数据贴源层； 进而通 过所述预设ODS数据贴源层、 预设DWD明细层、 预设DWD汇总层、 预设ADS应用服务层处理预设 结构化数据。 6.一种混合架构的数据仓库实现方法， 其特 征在于， 所述方法包括： 通过基于内存的数据仓库存储预设系统在第 一时间段内生成的实时业务数据； 获取预 设结构化数据， 基于预设检测逻辑， 检测所述实时业 务数据是否异常； 通过预设关系型数据仓库存储预设系统在第 二时间段内生成的预设结构化数据； 根据 预设处理逻辑处理所述预设结构化数据； 其中， 所述第二时间段大于所述第一时间段， 预设 结构化数据包 含实时业 务数据； 通过预设大数据 数据仓库存储预设系统在第 三时间段内生成的预设非结构化数据， 以权　利　要　求　书 1/2 页 2 CN 115329015 A 2及存储预设结构化数据； 其中， 所述第三时间段 大于第二时间段； 接收预设系统上传的预设结构化数据或预设非结构化数据； 通过预设查询界面获取数 据查询指令， 展示所述数据查询指令对应的预设结构化数据或预设非结构化数据。 7.根据权利要求6所述的混合架构的数据仓库实现方法， 其特征在于， 基于预设检测逻 辑， 检测所述实时业 务数据是否异常， 具体包括： 通过预设检测逻辑组件检测实时业 务数据是否异常。 8.根据权利要求6所述的混合架构的数据仓库实现方法， 其特征在于， 在基于预设检测 逻辑， 检测所述实时业 务数据是否异常之后， 所述方法还 包括： 在检测到实时业 务数据异常时， 启动数据回滚。权　利　要　求　书 2/2 页 3 CN 115329015 A 3