(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210548737.1 (22)申请日 2022.05.20 (65)同一申请的已公布的文献号 申请公布号 CN 114816715 A (43)申请公布日 2022.07.29 (73)专利权人 中国地质大 学 （北京） 地址 100083 北京市海淀区学院路2 9号 (72)发明人 孙大为　隋佳良　 (74)专利代理 机构 北京市广友专利事务所有限 责任公司 1 1237 专利代理师 张仲波 (51)Int.Cl. G06F 9/48(2006.01) G06F 9/50(2006.01) G06F 9/54(2006.01)G06F 11/30(2006.01) (56)对比文件 CN 110297699 A,2019.10.01 CN 10969712 2 A,2019.04.3 0 审查员 杨龙 (54)发明名称 一种面向跨地域的流计算延迟优化方法及 装置 (57)摘要 本发明涉及计算机通信技术领域， 特别是指 一种面向跨地域的流计算延 迟优化方法及装置， 装置包括任务调度模块、 延 迟约束模块以及集群 能耗优化模块； 方法包括： 为待处理的任务集合 分配服务器节 点进行处理， 通过监测线程对运行 的服务器节点监测CPU利用率情况， 当监测到CP U 利用率超 过第一预设阈值时， 进行任务的再分配 处理； 当执行器对于待处理的任务集合进行调度 时， 当确定系统中某组件的平均队列长度和平均 等待时长 大于临界值参数时进行重新调度； 当监 测线程监测到CP U利用率低于第二预设阈值的服 务器节点数量占总数量的比例大于预设比例时， 触发能耗节约策略。 采用本发明， 可以降低系统 延迟， 提高利用率， 降低系统能耗。 权利要求书2页 说明书13页 附图4页 CN 114816715 B 2022.11.22 CN 114816715 B 1.一种面向跨 地域的流计算延迟 优化方法， 其特 征在于， 所述方法包括： 根据执行器的数据流到达速率、 执行器处理速率以及当前系统中的延迟数值， 确定各 个组件的平均队列长度以及平均等待时长， 根据执行器的数据流到达速率、 执行器处理速 率、 各个组件的平均队列长度以及平均等待时长， 为待处理的任务集合分配服务器节点进 行处理， 通过监测线程对运行的服务器节点监测CPU利用率情况， 当监测 到CPU利用率超过 第一预设阈值时， 进行任务的再分配处 理； 当执行器对于待处理 的任务集合进行调度时， 当确定系统中某 组件的平均队列长度和 平均等待时长大于临界值参数时进行重新调度， 其中， 所述临界值参数 的确定由提交拓扑 的类型和数量决定； 当系统集群中数据流速变小时， 通过监测线程监测到CPU利用率低于第二预设阈值的 服务器节点数量占总 数量的比例大于预设比例时， 触发能耗节约策略， 根据系统内集群服 务器的任务关联情况和延迟情况， 选择服 务器进行休眠； 其中， 所述根据 执行器的数据流到达速率、 执行器处理速率、 各个组件的平均队列长度 以及平均等待时长， 为待处 理的任务 集合分配服 务器节点进行处 理， 包括： 根据执行器的数据流到达速率、 执行器处理速率、 数据元组的平均队列长度以及数据 元组的平均等待时长， 确定所处集群的期望值； 使用边际分析的方法确定单一任务资源消耗的量化范围， 通过所述量化范围的差值衡 量作为节点选择的指标， 确定最优服 务器节点数； 根据所述 最优服务器节点数， 为待处 理的任务 集合分配服 务器节点进行处 理。 2.根据权利要求1所述的方法， 其特征在于， 所述当确定系统中某组件的平均队列长度 和平均等待时长大于临界值 参数时进行重新调度， 包括： 当确定系统中某组件的平均队列长度和平均等待时长大于临界值参数时， 将系统中资 源充足的组件的执 行器数量进行 下调， 将执 行器分配给资源不足的组件。 3.根据权利要求1所述的方法， 其特征在于， 所述通过监测线程监测到CPU利用率低于 第二预设阈值的服务器节点数量占总 数量的比例大于预设比例时， 触发能耗节约策略， 包 括： 通过监测线程监测到CPU利用率低于0.25的服务器节点数量占总数量的比例大于70 ％ 时， 触发能耗节约策略。 4.根据权利要求1所述的方法， 其特 征在于， 所述选择服 务器进行休眠之后， 还 包括： 直到CPU利用率高于第 二预设阈值的服务器节点数量占总数量的比例高于第 三预设阈 值， 则停止对服 务器休眠。 5.一种面向跨 地域的流计算延迟 优化装置， 其特 征在于， 所述装置包括： 任务调度模块， 用于根据执行器的数据流到达速率、 执行器处理速率以及当前系统中 的延迟数值， 确定各个组件的平均队列长度以及平均等待时长， 根据执行器的数据流到达 速率、 执行器处理速率、 各个组件的平均队列长度以及平均等待时长， 为待处理的任务集合 分配服务器节 点进行处理， 通过监测线程对运行的服务器节点监测CPU利用率情况， 当监测 到CPU利用率超过第一预设阈值时， 进行任务的再分配处 理； 延迟约束模块， 用于当执行器对于待处理的任务集合进行调度时， 当确定系统中某组 件的平均队列长度和平均等待时长大于临界值参数时进行重新调度， 其中， 所述临界值参权　利　要　求　书 1/2 页 2 CN 114816715 B 2数的确定由提交拓扑的类型和数量决定； 集群能耗优化模块， 用于当系统集群 中数据流速变小时， 通过监测线程监测到CPU利用 率低于第二预设阈值的服务器节点数量占总数量的比例大于预设比例时， 触发能耗节约策 略， 根据系统内集群服 务器的任务关联情况和延迟情况， 选择服 务器进行休眠； 其中， 所述任务调度模块， 用于： 根据执行器的数据流到达速率、 执行器处理速率、 数据元组的平均队列长度以及数据 元组的平均等待时长， 确定所处集群的期望值； 使用边际分析的方法确定单一任务资源消耗的量化范围， 通过所述量化范围的差值衡 量作为节点选择的指标， 确定最优服 务器节点数； 根据所述 最优服务器节点数， 为待处 理的任务 集合分配服 务器节点进行处 理。 6.根据权利要求5所述的装置， 其特 征在于， 所述延迟约束模块， 用于： 当确定系统中某组件的平均队列长度和平均等待时长大于临界值参数时， 将系统中资 源充足的组件的执 行器数量进行 下调， 将执 行器分配给资源不足的组件。 7.根据权利要求5所述的装置， 其特 征在于， 所述 集群能耗优化模块， 用于： 通过监测线程监测到CPU利用率低于0.25的服务器节点数量占总数量的比例大于70 ％ 时， 触发能耗节约策略。 8.根据权利要求5所述的装置， 其特 征在于， 所述 集群能耗优化模块， 还用于： 直到CPU利用率高于第 二预设阈值的服务器节点数量占总数量的比例高于第 三预设阈 值， 则停止对服 务器休眠。权　利　要　求　书 2/2 页 3 CN 114816715 B 3