(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210824191.8 (22)申请日 2022.07.14 (71)申请人 海纳致远数字科技 （上海） 有限公司 地址 200030 上海市徐汇区裕 德路126号2 楼2061室 (72)发明人 谢汶达　涂泽　桂进康　杨森　 王龙波　赵音龙　陈丰生　 (74)专利代理 机构 上海申浩 律师事务所 31280 专利代理师 陆懿 (51)Int.Cl. G06F 16/2455(2019.01) G06F 11/30(2006.01) G06F 16/27(2019.01) (54)发明名称 百亿级缓存系统在大数据集群中的应用方 法 (57)摘要 本发明公开了百亿级缓存系统在大数据集 群中的应用方法， 具体步骤如下： 步骤一、 搭建高 可用的Hbase集群和Redis集群作为数据存储集 群， 搭建Spark集群作为数据计算集群； 步骤二、 将Spark集群中的大数据计算结果数据存入 Hbase集群时； 步骤三、 将存入Hbase集群的数据 转化为JSON格式存入Redi s集群； 步骤四、 用户请 求业务系统， 业务系统按第一模式读取Redis集 群； 如果Redis集群能读取数据， 则返回数据， 并 进行下一个业务处理； 如果Redis集群不能读取 数据， 则读取Hbase集群， 返回数据， 然后进行下 一个业务处理； 步骤五、 实现优先读取Redis集 群， 读取失败再读取Hbase集群的策略。 权利要求书1页 说明书3页 附图1页 CN 115438080 A 2022.12.06 CN 115438080 A 1.百亿级缓存系统在大 数据集群中的应用方法， 其特 征在于： 具体步骤如下： 步骤一、 搭建高可用的Hbase集群和Redis集群作为数据存储集群， 搭建Spark集群作为 数据计算 集群； 步骤二、 将Spark 集群中的大 数据计算结果数据存 入Hbase集群； 步骤三、 将存 入Hbase集群的数据转 化为JSON格式存 入Redis集群； 步骤四、 用户请求业务系统， 业务系统按第一模式读取Redis集群； 如果Redis集群能读 取数据， 则返回数据， 并进行下一个业务处理； 如果Redis集群不能读取数据， 则读取Hbase 集群， 返回数据， 然后进行 下一个业 务处理； 步骤五、 如果第一阈值时间段内Redis集群读取失败次数超过第二 阈值， 那么切换到第 二模式只读取Hbase集群； 在第二模式运行第三阈值时间后， 每隔第四阈值周期尝试读取 Redis集群， 若在尝试读取Redis集群期间在第五阈值时间内成功次数超过第六阈值， 那么 切换到第一模式读取Redis集群， 实现优 先读取Redis集群， 读取失败 再读取Hbase集群的策 略。 2.根据权利要求1所述的百亿级缓存系统在大数据集群中的应用方法， 其特征在于： 所 述Redis集群负责承担正常业务访问流量的90％以上， 在正常状态下Hbase集群只做备用库 查询使用。 3.根据权利要求1所述的百亿级缓存系统在大数据集群中的应用方法， 其特征在于： Redis集群数据和Hbase集群数据之间要实时同步。 4.根据权利要求1所述的百亿级缓存系统在大数据集群中的应用方法， 其特征在于： 监 控熔断机制使用单独的进程进行监控。权　利　要　求　书 1/1 页 2 CN 115438080 A 2百亿级缓存系统在大数据集群中的应用方 法 技术领域 [0001]本发明涉及互联 网数据缓存系统， 具体涉及百亿级 缓存系统在大数据集群中的应 用方法。 背景技术 [0002]中国是大数据发展最为快速 的国家、 由于人口基数大， 随之而来的就是有价值的 互联网应用需要面对海量的用户请求和人性化的用户体验， 国内大数据行业 发展的如火如 荼， 作为互联网时代新型的产业， 大数据行业其 实是互联网和计算机结合的产 物， 互联网实 现了数据的网络化， 计算机实现了数据的数字化， 两者结合赋予了大数据生命力。 现有的大 数据系统hadoop是一个由各种计算组件和存储组件组成的大杂烩， 它充分的考虑了大数据 的方方面面， 但是没有考虑到业务系统尤其是高并发高可用 项目与大数据协同访问的问 题。 发明内容 [0003]针对上述问题， 本发明提供百亿级缓存系统在大数据集群中的应用方法， 通过优 异可靠的Redis集群作为连接业务系统和大数据系统的中转站和桥梁保障服务的高可用和 高并发。 [0004]名词解释： [0005]1、 Redis： 高性能、 易于扩容的键值对缓存数据库。 [0006]2、 Hbase:是一个开源的非关系型分布式数据库， 是一个高可靠、 高性能、 面向列、 可伸缩的分布式数据库。 [0007]3、 Spark： 是一个围绕速度、 易用性和复杂分析构建的大 数据处理框架。 [0008]5、 熔断机制:熔断机制是应对雪崩效应的一种微 服务链路保护机制。 [0009]6、 高可用的： 指的是通过尽量缩短因日常维护操作(计划)和突发的系统崩溃(非 计划)所导 致的停机时间， 以提高系统和应用的可用性。 [0010]为实现上述技术目的， 达到上述技术效果， 本发明通过以下技术方案 实现： 百亿级 缓存系统在大 数据集群中的应用方法， 具体步骤如下： [0011]步骤一、 搭建高可用的Hbase集群和Redis集群作为数据存储集群， 搭建Spark集群 作为数据计算 集群； Redis集群必须要足够的稳定性， 具 备故障快速恢复的能力。 [0012]步骤二、 将Spark 集群中的大 数据计算结果数据存 入Hbase集群时； [0013]步骤三、 将存 入Hbase集群的数据转 化为JSON格式存 入Redis集群； [0014]步骤四、 用户请 求业务系统， 业务系统按第一模式读取Redis集群； 如果Redis集群 能读取数据， 则返回数据， 并进行下一个业务处理； 如果Redis集群不能读取数据， 则读取 Hbase集群， 返回数据， 然后进行 下一个业 务处理； [0015]步骤五、 如果第一阈值时间段内Redis集群读取失败次数超过第二阈值， 那么切换 到第二模式只读取Hbase集群； 在第二模式运行第三阈值时间后， 每隔第四阈值周期尝试读说　明　书 1/3 页 3 CN 115438080 A 3