说明:收录25万 73个行业的国家标准 支持批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210689844.6 (22)申请日 2022.06.17 (71)申请人 特赞 (上海) 信息科技有限公司 地址 200000 上海市浦东 新区中国 (上海) 自由贸易试验区张衡路20 0号2幢3层 (72)发明人 范凌 王喆 李佳楠 赵珂飞  (74)专利代理 机构 北京知果之信知识产权代理 有限公司 1 1541 专利代理师 苏利 (51)Int.Cl. G06F 9/50(2006.01) G06F 9/54(2006.01) G06F 16/182(2019.01) (54)发明名称 分布式文件异步处理服务的设计方法、 系统 及电子设备 (57)摘要 本发明公开了一种分布式文件异步处理服 务的设计方法、 系统及电子设备, 其中方法包括: 指挥端接收调用端发起的请求, 根据请求确定子 任务; 指挥端基于子任务编排任务链路, 并根据 任务链路构建分布式异步消息队列的可执行序 列对象; 指挥端指挥执行端触发执行可执行序列 对象; 执行端根据可执行序列对象执行所述子任 务, 得到子任务产物, 并将子任务产物通过指挥 端反馈至调用端。 本发明通过子任务实现文件处 理能力, 任务链路中的多个子任务可以提供多种 文件处理能力, 针对不同的文件处理需求执行对 应的子任务, 达到提供各种不同的文件处理能力 的效果; 并且, 通过任务链路和分布式异步消息 队列, 可以处 理大量的文 件处理任务量。 权利要求书2页 说明书8页 附图4页 CN 115098255 A 2022.09.23 CN 115098255 A 1.一种分布式文件异步处 理服务的设计方法, 其特 征在于, 包括: 指挥端接收调用端发起的请求, 根据所述请求确定 子任务; 指挥端基于所述子任务编 排任务链路, 并根据所述任务链路构建分布式异步消息队列 的可执行序列对象; 指挥端指挥执 行端触发执 行所述可执行序列对象; 执行端根据所述可执行序列对象执行所述子任务, 得到子任务产物, 并将所述子任务 产物通过指挥端反馈 至调用端。 2.根据权利要求1所述的方法, 其特征在于, 所述指挥端接收调用端发起的请求, 根据 所述请求确定 子任务, 包括: 指挥端接收调用端发起的请求, 根据所述请求确定文件处 理能力; 预先将每个文件处 理能力独立封装为子任务; 确定所述请求对应的子任务。 3.根据权利要求1所述的方法, 其特征在于, 所述指挥端基于所述子任务编排任务链 路, 并根据所述任务链路构建 分布式异步消息队列的可 执行序列对象, 包括: 指挥端基于所有子任务, 获取 各个子任务对应的子任务数据; 根据所述子任务数据, 定期 构建子任务链路图; 根据所述子任务链路图, 构建每 个子任务的执 行链路; 基于所述执 行链路, 构建 分布式异步消息队列的可 执行序列对象。 4.根据权利要求3所述的方法, 其特征在于, 所述基于所述执行链路, 构建分布式异步 消息队列的可 执行序列对象, 包括: 基于执行链路, 构造所述执 行链路对应的子任务类; 确定执行链路中最初触发执行的最初子任务节点, 并配置所述最初子任务节点的最初 节点参数; 确定执行链路中最终触发执行的最终子任务节点, 并动态传入所述最终子任务节点的 最终节点 参数; 通过所述子任务类构造子任务对象, 并基于所述子任务对象、 最初子任务节点、 最初节 点参数、 最终子任务节点和最终节点参数, 构建分布式异步消息队列celery 的可执行序列 对象。 5.根据权利要求1所述的方法, 其特征在于, 所述指挥端指挥执行端触发执行所述可执 行序列对象, 包括: 指挥端指挥执 行端执行分布式异步消息队列celery的可 执行序列对象; 触发执行端执行指定的子任务。 6.根据权利要求1所述的方法, 其特征在于, 在所述执行端根据 所述可执行序列对象执 行所述子任务之前, 所述方法还 包括: 执行端根据开源配置管理中心apo llo定期更新配置; 将更新配置后的执 行端承载的子任务进行注 册, 完成执 行端初始化; 执行端初始化完成后, 向消息队列发送心跳数据, 其中所述心跳数据包括执行端承载 的子任务的元信息, 所述元信息包括: 能力名称、 能力版本、 前置依赖和支持文件类型。 7.根据权利要求6所述的方法, 其特征在于, 所述执行端根据所述可执行序列对象执行权 利 要 求 书 1/2 页 2 CN 115098255 A 2所述子任务, 得到 子任务产物, 并将所述子任务产物通过指挥端反馈 至调用端, 包括: 每个子任务 根据所述元信息中的能力名称和能力版本, 唯一对应一个 独享队列; 执行端通过承载的每个子任务的进程, 从每个子任务唯一对应的独享队列中取出子任 务; 所述执行端串行执行或并行执行所述子任务, 得到子任务产物, 并将所述子任务产物 统一绑定在同一目录下; 将所述子任务产物通过指挥端反馈 至调用端。 8.一种分布式文件异步处 理服务的设计系统, 其特 征在于, 包括: 确定单元, 用于指挥端接收调用端发起的请求, 根据所述请求确定 子任务; 编排单元, 用于指挥端基于所述子任务编排任务链路, 并根据所述任务链路构建分布 式异步消息队列的可 执行序列对象; 触发执行单元, 用于指挥端指挥执 行端触发执 行所述可执行序列对象; 执行单元, 用于执行端根据 所述可执行序列对象执行所述子任务, 得到子任务产物, 并 将所述子任务产物通过指挥端反馈 至调用端。 9.一种计算机可读存储介质, 其特征在于, 所述计算机可读存储介质存储有计算机指 令, 所述计算机指令用于使计算机执行权利要求1 ‑7任意一项所述的分布式文件异步处理 服务的设计方法。 10.一种电子设备, 其特征在于, 所述电子设备包括: 至少一个处理器; 以及与 所述至少 一个处理器通信连接的存储器; 其中, 所述存储器存储有可被所述至少一个处理器执行 的 计算机程序, 所述计算机程序被所述至少一个处理器执行, 以使所述至少一个处理器执行 权利要求1 ‑7任意一项所述的分布式文件异步处 理服务的设计方法。权 利 要 求 书 2/2 页 3 CN 115098255 A 3

.PDF文档 专利 分布式文件异步处理服务的设计方法、系统及电子设备

文档预览
中文文档 15 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共15页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 分布式文件异步处理服务的设计方法、系统及电子设备 第 1 页 专利 分布式文件异步处理服务的设计方法、系统及电子设备 第 2 页 专利 分布式文件异步处理服务的设计方法、系统及电子设备 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-18 13:30:41上传分享
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。