(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210604459.7 (22)申请日 2022.05.30 (71)申请人 平安普惠企业管理有限公司 地址 518000 广东省深圳市前海深港合作 区前湾一路1号A栋201室 (72)发明人 王涛　 (74)专利代理 机构 深圳市沃德知识产权代理事 务所(普通 合伙) 44347 专利代理师 高杰　于志光 (51)Int.Cl. G06F 9/50(2006.01) G06F 16/25(2019.01) (54)发明名称 分布式数据处理方法、 装置、 设备及存储介 质 (57)摘要 本发明涉及数据处理技术， 揭露一种分布式 数据处理方法， 包括： 根据文件列表提取的业务 数据触发键值数据库， 键值数据库根据业务数据 及服务器集群构建分片式任务列表； 根据服务器 集群及分片式任务列表选取目标服务器及目标 任务； 向目标服务器发布目标任务； 在未成功处 理目标任务时， 将目标任务存储至失败任务列 表； 在成功处理目标任务时， 从未发布的分片式 任务中提取目标任务并发布给目标服务器； 在不 存在未发布的任务时， 从失败任务列表中提取目 标任务并发布给目标服务器； 在失败任务列表中 不存在任务时， 目标服务器停止数据处理。 本发 明还提出一种分布式数据处理装置、 设备以及介 质。 本发明可以提高服务器资源利用率以及业务 数据处理效率问题。 权利要求书2页 说明书11页 附图3页 CN 114896069 A 2022.08.12 CN 114896069 A 1.一种分布式数据处 理方法， 其特 征在于， 所述方法包括： 获取文件列表， 根据所述文件列表提取业务数据， 根据所述业务数据触发预设的键值 数据库， 所述键值数据库根据所述 业务数据及预设的服 务器集群构建 分片式任务列表； 从所述服务器集群中逐个选取其中一个服务器作为目标服务器， 从所述分片式任务列 表按顺序选取其中一个分片式任务作为目标分片式任务； 向所述目标服务器发布所述目标分片式任务， 并判断所述目标服务器是否成功处理所 述目标分片式任务； 若未成功处 理所述目标分片式任务， 则将所述目标分片式任务存 储至失败 任务列表； 若成功处理所述目标分片式任务， 则判断所述分片式任务列表中是否存在未发布的分 片式任务； 若存在未发布的分片式任务， 则按预设顺序从所述未发布的分片式任务中提取目标分 片式任务， 并返回向所述目标服 务器发布所述目标分片式任务的步骤； 若不存在未发布的分片式任务， 则判断所述失败 任务列表中是否存在分片式任务； 若存在分片式任务， 则从所述失败任务列表中提取目标分片式任务， 并返回向所述目 标服务器发布所述目标分片式任务的步骤； 若不存在分片式任务， 则所述目标服 务器停止数据处 理。 2.如权利要求1所述的分布式数据处理方法， 其特征在于， 所述根据所述文件列表提取 业务数据， 包括： 提取所述文件列表中的文件名， 获取 所述文件名对应的存 储路径； 将所述存储路径编译为路径参数， 利用所述路径参数对预设的数据接口进行赋值， 并 利用赋值后的所述数据接口对所述文件名对应的业 务数据进行调用。 3.如权利要求1所述的分布式数据处理方法， 其特征在于， 所述根据所述业务数据触发 预设的键值数据库， 所述键值数据库根据所述业务数据及预设的服务器集群构建分片式任 务列表， 包括： 在所述业务数据触发预设的键值数据库 所对应的接口时， 所述接口触发键值数据库的 通知； 在接收到所述 通知后， 所述键值数据库调取 所述业务数据； 获取预设的服务器集群中每 台服务器的历史数据处理能力， 并根据所述历史处理能力 对所述业务数据进行分片， 得到多个分片式任务； 将所述分片式任务按预设顺序填入预设列表中， 得到分片式任务列表。 4.如权利要求1所述的分布式数据处理方法， 其特征在于， 所述向所述目标服务器发布 所述目标分片式任务， 包括： 从所述键值数据库中反射调用所述目标分片式任务； 扫描所述目标服 务器的接口， 向所述接口发送所述目标分片式任务。 5.如权利要求1所述的分布式数据处理方法， 其特征在于， 所述判断所述目标服务器是 否成功处 理所述目标分片式任务， 包括： 动态监测所述目标分片式任务的处 理状态； 当所述处 理状态为停止时， 获取 所述目标服 务器的处 理日志； 检测所述处 理日志中是否存在预设敏感字段；权　利　要　求　书 1/2 页 2 CN 114896069 A 2若存在预设敏感字段， 则判定所述目标服 务器未成功处 理所述目标分片式任务； 若不存在预设敏感字段， 则判定所述目标服 务器成功处 理所述目标分片式任务。 6.如权利要求1所述的分布式数据处理方法， 其特征在于， 所述判断所述失败任务列表 中是否存在分片式任务， 包括： 查看所述失败 任务列表是否为空； 若失败任务列表为空， 则判定失败 任务列表中不存在分片式任务； 若失败任务列表不为空， 则判定遍历所述失败任务列表中的每一个ID所对应的处理属 性是否为空； 若遍历到ID所对应的处 理属性为空， 则判定所述失败 任务列表中存在分片式任务； 若未遍历到ID所对应的处理属性为空， 则判定所述失败任务列表中不存在分片式任 务。 7.如权利要求1至6中任一项所述的分布式数据处理方法， 其特征在于， 所述获取文件 列表， 包括： 接收数据处 理请求， 并识别所述数据处 理请求中的请求体； 提取所述请求体中的数据， 得到文件列表。 8.一种分布式数据处 理装置， 其特 征在于， 所述装置包括： 分片式任务列表构建模块， 用于获取文件列表， 根据所述文件列表提取业务数据， 根据 所述业务数据触发预设的键值数据库， 所述键值数据库根据所述业务数据及预设的服务器 集群构建 分片式任务列表； 目标分片式任务发布模块， 用于从所述服务器集群中逐个选取其中一个服务器作为目 标服务器， 从所述分片 式任务列表按顺序选取其中一个分片 式任务作为 目标分片 式任务； 向所述目标服 务器发布所述目标分片式任务； 目标服务器再处理模块， 用于判断所述目标服务器是否成功处理所述目标分片式任 务； 若未成功处理所述目标分片式任务， 则将所述目标分片式任务存储至失败任务列表； 若 成功处理所述 目标分片 式任务， 则在所述分片 式任务列表中存在未发布的分片 式任务时， 按预设顺序从所述未发布的分片式任务中提取目标分片式任务， 并返回向所述目标服务器 发布所述目标分片式任务的步骤； 失败任务列表处理模块， 用于在所述分片式任务列表中不存在未发布的分片式任务 时， 则判断所述 失败任务列表中是否存在分片式任务； 若存在分片式任务， 则从所述 失败任 务列表中提取目标分片式任务， 并返回向所述目标服务器发布所述目标分片式任务的步 骤； 若不存在分片式任务， 则所述目标服 务器停止数据处 理。 9.一种电子设备， 其特 征在于， 所述电子设备包括： 至少一个处 理器； 以及， 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的计算机程序， 所述计算机程序被所 述至少一个处理器执行， 以使 所述至少一个处理器能够执行如权利要求 1至7中任意一项 所 述的分布式数据处 理方法。 10.一种计算机可读存储介质， 存储有计算机程序， 其特征在于， 所述计算机程序被处 理器执行时实现如权利要求1至7中任意 一项所述的分布式数据处 理方法。权　利　要　求　书 2/2 页 3 CN 114896069 A 3