(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210969596.0 (22)申请日 2022.08.12 (71)申请人 深圳市必凡娱乐科技有限公司 地址 518057 广东省深圳市南 山区粤海街 道麻岭社区深南大道9966号威盛 科技 大厦1205 (72)发明人 罗国帝　 (74)专利代理 机构 深圳锴权知识产权代理事务 所(普通合伙) 44825 专利代理师 张巍 (51)Int.Cl. G06F 16/2455(2019.01) G06F 9/54(2006.01) H04L 67/06(2022.01) (54)发明名称 一种数据处 理方法及系统 (57)摘要 本申请涉及一种数据处理方法及系统， 涉及 数据处理的技术领域， 其方法包括在接收到数据 时， 根据所述数据所属的业务场景类型将所述数 据发送至所述业务场景类型中的Redi s列队进行 攒批； 在所述Redis列队攒批结束时， 取出Redis 列队中的所有数据并将Redis列队当前攒批的所 有数据清空使得所述Redi s列队能够重新用于攒 批数据； 基于取出的所有数据生成JSON文件； 将 所述JSON文件上传至云服务平台并获取所述云 服务平台反馈的上传结果， 在所述JSON文件上传 成功时获取所述JSON文件所对应的网络地址； 以 及， 将所述网络地址加入消息队列并发送至需要 消费的客户端进行监听并消费。 本申请具有更好 地实现数据的流批处 理的效果。 权利要求书2页 说明书6页 附图2页 CN 115048418 A 2022.09.13 CN 115048418 A 1.一种数据处 理方法， 其特 征在于， 包括： 在接收到数据时， 根据 所述数据所属的业务场景类型将所述数据发送至所述业务场景 类型中的Redis列队进行攒 批； 在所述Redis列队攒批结束时， 取出Redis列队中的所有数据并将Redis列队当前攒批 的所有数据清空使得 所述Redis列队能够重新用于 攒批数据； 基于取出的所有数据生成JSON文件； 将所述JSON文件上传至云服务平台并获取所述云服务平台反馈的上传结果， 在所述 JSON文件上传成功时获取 所述JSON文件所对应的网络地址； 以及， 将所述网络地址加入消息队列并发送至 需要消费的客户端进行监 听并消费； 所述客户 端根据所述消息队列中的所述网络地址拉取所述云服务平台中保存的JSON文件， 解析并消 费。 2.根据权利要求1所述的一种数据处理方法， 其特征在于， 判断所述Redis列队攒批是 否结束的方法包括： 在Redis列队接收到数据时， 对Redis列队中的数据数进行累加得到数据量总和； 以及， 判断所述数据量总和是否大于预设数目； 如果是， 则判定所述Redis列队攒批已经结 束。 3.根据权利要求2所述的一种数据处理方法， 其特征在于， 判断所述Redis列队攒批是 否结束的方法还 包括： 在Redis列队接收到数据时， 记录最近 接收的数据的时刻； 判断在预设时长内是否接收到下一数据； 如果否， 则判定所述Redis列队攒批已经结 束。 4.根据权利要求3所述的一种数据处理方法， 其特征在于， 所述客户端根据所述消息队 列中的所述网络地址拉取 所述云服 务平台中保存的JSON文件， 解析并消费， 包括： 基于dataFl ow提供的API 监听所述消息队列中的批处 理消息； 判断批处理消息的网络地址是否为所需的JSON文件的网络地址； 如果是， 下载并解析 相对应的JSON文件； 以及， 通过数据消费方法进行 数据消费。 5.根据权利要求4所述的一种数据处理方法， 其特征在于， 所述数据消费方法的配置方 法包括： 通过装饰 器模式构造 至少一个抽象装饰监听器； 以及， 为需要消费数据的客户端配置所述抽象装置监听器并重写所述抽象装置监听器中的 数据消费方法。 6.根据权利要求5所述的一种数据处理方法， 其特征在于， 选用rocketmq用做消息队 列。 7.根据权利要求1所述的一种数据处理方法， 其特征在于， 所述云服务平台包括阿里 云、 腾讯云、 华为云、 谷歌云、 微软云中的至少一个。 8.一种数据处 理系统， 其特 征在于， 包括： 第一处理模块 （201） ， 用于： 在接收到数据时， 根据所述数据所属的业务场景类型将所 述数据发送至所述 业务场景类型中的Redis列队进行攒 批；权　利　要　求　书 1/2 页 2 CN 115048418 A 2第二处理模块 （202） ， 用于： 在所述Redis列队攒批结束时， 取出Redis列队中的所有数 据并Redis列队当前攒 批的所有数据清空使得 所述Redis列队能够重新用于 攒批数据； 第三处理模块 （20 3） ， 用于： 基于取 出的所有数据生成JSON文件； 第四处理模块 （204） ， 用于： 将所述JS ON文件上传至云服务平台并获取所述云服务平台 反馈的上传结果， 在所述JSON文件上传成功时获取 所述JSON文件所对应的网络地址； 以及， 第五处理模块 （205） ， 用于： 将所述网络地址加入消息队列并发送至需要消费的客户端 进行监听并消费； 所述客户端根据所述消息队列中的所述网络地址拉取所述云服务平台中 保存的JSON文件， 解析并消费。 9.一种计算机设备， 其特征在于： 包括存储器和服务器， 所述存储器上存储有被服务器 加载并执 行的如权利要求1至7中任一方法的计算机程序。 10.一种计算机可读存储介质， 其特征在于， 存储有能够被服务器加载并执行如权利要 求1至7中任一方法的计算机程序。权　利　要　求　书 2/2 页 3 CN 115048418 A 3