(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210591523.2 (22)申请日 2022.05.27 (71)申请人 北京思特奇信息技 术股份有限公司 地址 100086 北京市海淀区中关村南大街6 号14层 (72)发明人 官元峰　 (74)专利代理 机构 北京汇信合知识产权代理有 限公司 1 1335 专利代理师 孙民兴 (51)Int.Cl. G06F 9/48(2006.01) G06F 9/50(2006.01) G06F 9/455(2006.01) (54)发明名称 基于参数依赖推断执行流程的任务流并发 调度方法及系统 (57)摘要 本发明公开了一种基于参数依赖推断执行 流程的任务流并发调度方法及系统， 方法包括： 预定义任务节 点模块的输入输出参数； 通过图形 拖拽方式， 将每个任务节点与其他任务节点连 线， 以构建输入输出参数具有依赖关系的任务 流； 按照预设的转换原则和转换程序， 将任务流 转换为预设格式的任务流文档； 循环遍历执行任 务流环节的全部任务节点； 逐个启动任务进程， 并检查任务进程的执行状态； 若任一任务节点执 行失败， 则结束当前任务流环节。 通过本发明的 技术方案， 简化了配置过程， 提高流任务流定义 的可移植性， 且并发任务的数量能够适应执行容 器的变化， 能够提前对工作流结构的完整性进行 检查， 减少运行期间出错的可能性。 权利要求书3页 说明书11页 附图3页 CN 115016909 A 2022.09.06 CN 115016909 A 1.一种基于参数依赖推断执 行流程的任务 流并发调度方法， 其特 征在于， 包括： 预定义任务节点模块的输入输出参数； 通过基于可视化界面的图形拖拽方式， 将每个任务节点与其他任务节点连线， 以构建 输入输出参数 具有依赖关系的任务 流； 按照预设的转换原则和转换程序， 将所述任务 流转换为预设格式的任务 流文档； 基于所述任务 流文档获取任务 流配置， 并循环遍历执 行任务流环节的全部任务节点； 获取任务节点的数据、 填充参数、 连接目标容器， 逐个启动任务进程， 并检查任务进程 的执行状态； 若任一任务节点执行失败， 则结束当前任务流环节， 若遍历整个任务流环节结束， 则保 存该任务 流环节的状态。 2.根据权利要求1所述的基于参数依赖推断执行流程的任务流并发调度方法， 其特征 在于， 所述预定义任务节点模块的输入输出参数的过程具体包括： 以python代码方式定义所述任务节点模块， 定义内容包括所述任务节点模块的描述性 信息、 所述任务节点模块的运行依赖信息以及所述任务节点模块的输入输出参数； 所述输入输出参数分为入参和出参， 所述输入输出参数包括入参和出参的名称、 类型 和描述， 入参和出参的类型包括数值型 数据和文件型 数据。 3.根据权利要求1所述的基于参数依赖推断执行流程的任务流并发调度方法， 其特征 在于， 将所述任务 流转换为预设格式的任务 流文档的转换原则包括： 被依赖出参的任务节点， 先于入参依赖其出参的任务节点执 行； 任务节点的出参包括多个被依赖节点且多个被依赖节点之间无相互依赖关系， 则该任 务节点至多个 被依赖节点之间可以并发处 理； 若任务流环节的并发节点数量多于执行容器数量， 则将所述并发任务流环节分拆为多 个环节， 一个执 行容器不能同时执 行多个任务节点。 4.根据权利要求3所述的基于参数依赖推断执行流程的任务流并发调度方法， 其特征 在于， 将所述任务 流转换为预设格式的任务 流文档的转换程序包括： 将每个任务节点中的入参对应的另一任务节点参数附加出参属性， 以正向推导执行顺 序； 判断任务节点之间传递的数据文件为临时文件或持久文件， 并为持久文件提供文件地 址或服务器地址； 查找全部入参均提供 数值型数据的任务节点作为执 行起点； 按照出参的执 行顺序路径确定各个任务节点的执 行顺序； 根据执行容器数量， 检查并分拆并发任务流环节的节点数量， 并为每个任务节点分配 执行容器。 5.根据权利要求3所述的基于参数依赖推断执行流程的任务流并发调度方法， 其特征 在于， 基于所述任务流文档获取任务流配置， 并循环遍历执行任务流环节的全部任务节点 的具体过程包括： 读取所述任务 流文档以获取任务 流配置， 根据所述任务 流配置遍历任务 流环节； 遍历执行当前任务流环节的全部任务节点后， 循环进入下一任务流环节， 且每次循环 之间加入延时；权　利　要　求　书 1/3 页 2 CN 115016909 A 2循环遍历完成所有任务 流环节后， 保存 任务流环节的状态并退 出任务。 6.一种基于参数依赖推断执行流程的任务流并发调度系统， 其特征在于， 应用 如权利 要求1至5中任一项所述的基于参数依赖推断执 行流程的任务 流并发调度方法， 包括： 参数定义模块， 用于预定义任务节点模块的输入输出参数； 任务连接模块， 用于通过基于可视化界面的图形拖拽方式， 将每个任务节点与其他任 务节点连线， 以构建输入输出参数 具有依赖关系的任务 流； 任务转换模块， 用于按照预设的转换原则和转换程序， 将所述任务流转换为预设格式 的任务流文档； 遍历执行模块， 用于基于所述任务流文档获取任务流配置， 并循环遍历执行任务流环 节的全部任务节点； 进程启动模块， 用于获取任务节点的数据、 填充参数、 连接目标容器， 逐个启动任务进 程， 并检查任务进程的执 行状态； 任务调度模块， 用于在任一任务节点执行失败时， 结束当前任务流环节， 在遍历整个任 务流环节结束时， 保存该任务 流环节的状态。 7.根据权利要求6所述的基于参数依赖推断执行流程的任务流并发调度系统， 其特征 在于， 所述 参数定义模块具体用于： 以python代码方式定义所述任务节点模块， 定义内容包括所述任务节点模块的描述性 信息、 所述任务节点模块的运行依赖信息以及所述任务节点模块的输入输出参数； 所述输入输出参数分为入参和出参， 所述输入输出参数包括入参和出参的名称、 类型 和描述， 入参和出参的类型包括数值型 数据和文件型 数据。 8.根据权利要求6所述的基于参数依赖推断执行流程的任务流并发调度系统， 其特征 在于， 所述任务 转换模块的转换原则包括： 被依赖出参的任务节点， 先于入参依赖其出参的任务节点执 行； 任务节点的出参包括多个被依赖节点且多个被依赖节点之间无相互依赖关系， 则该任 务节点至多个 被依赖节点之间可以并发处 理； 若任务流环节的并发节点数量多于执行容器数量， 则将所述并发任务流环节分拆为多 个环节， 一个执 行容器不能同时执 行多个任务节点。 9.根据权利要求6所述的基于参数依赖推断执行流程的任务流并发调度系统， 其特征 在于， 所述任务 转换模块的转换程序包括： 将每个任务节点中的入参对应的另一任务节点参数附加出参属性， 以正向推导执行顺 序； 判断任务节点之间传递的数据文件为临时文件或持久文件， 并为持久文件提供文件地 址或服务器地址； 查找全部入参均提供 数值型数据的任务节点作为执 行起点； 按照出参的执 行顺序路径确定各个任务节点的执 行顺序； 根据执行容器数量， 检查并分拆并发任务流环节的节点数量， 并为每个任务节点分配 执行容器。 10.根据权利要求8所述的基于参数依赖推断执行流程的任务流并发调度系统， 其特征 在于， 所述遍历执 行模块具体用于：权　利　要　求　书 2/3 页 3 CN 115016909 A 3