说明:收录25万 73个行业的国家标准 支持批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210788918.1 (22)申请日 2022.07.06 (71)申请人 北京沃东天骏信息技 术有限公司 地址 101116 北京市大兴区北京经济技 术 开发区科创十一街18号院2号楼4层 A402室 申请人 北京京东世纪贸易有限公司 (72)发明人 张政淇  (74)专利代理 机构 北京唯智勤实知识产权代理 事务所(普通 合伙) 11557 专利代理师 史立状 (51)Int.Cl. G06F 9/50(2006.01) (54)发明名称 任务调整方法、 装置、 电子设备和计算机可 读介质 (57)摘要 本公开的实施例公开了任务调整方法、 装 置、 电子设备和计算机可读介质。 该方法的一具 体实施方式包括: 响应于接收到对应目标任务的 任务参考信息, 根据上述任务参考信息包括的扩 容观测时间段和缩容观测时间段, 确定计算节点 集群中每个计算节点的处理器利用率信息, 得到 处理器利用率信息组, 其中, 上述目标任务在上 述计算节 点集群上运行; 根据上述处理器利用率 信息组、 上述任务参考信息所包括的子任务并行 度、 子任务单位计算耗时和目标单位计算耗时比 例, 生成对应上述目标任务的任务调整信息; 根 据上述任务调整信息, 对上述目标任务进行调整 处理。 该实施方式与大数据有关, 缓解了任务运 行的延迟。 权利要求书3页 说明书16页 附图3页 CN 115309540 A 2022.11.08 CN 115309540 A 1.一种任务调整方法, 包括: 响应于接收到对应目标任务的任务参考信 息, 根据所述任务参考信 息包括的扩容观测 时间段和缩容观测时间段, 确定计算节点集群中每个计算节点的处理器利用率信息, 得到 处理器利用率信息组, 其中, 所述目标任务在所述计算节点 集群上运行; 根据所述处理器利用率信息组、 所述任务参考信息所包括的子任务并行度、 子任务单 位计算耗时和目标 单位计算 耗时比例, 生成对应所述目标任务的任务调整信息; 根据所述任务调整信息, 对所述目标任务进行调整处 理。 2.根据权利要求1所述的方法, 其中, 所述根据所述任务参考信 息包括的扩容观测时间 段和缩容观测时间段, 确定计算节点 集群中每 个计算节点的处 理器利用率信息, 包括: 将在所述扩容观测时间段内采集的所述计算节点的各个单位处理器利用率确定为扩 容单位处 理器利用率组; 将所述扩容单位处理器利用率组包括的各个扩容单位处理器利用率的平均值确定为 扩容处理器利用率; 将在所述缩容观测时间段内采集的所述计算节点的各个单位处理器利用率确定为缩 容单位处 理器利用率组; 将所述缩容单位处理器利用率组包括的各个缩容单位处理器利用率的平均值确定为 缩容处理器利用率; 对所述扩容处理器利用率和所述缩容处理器利用率进行合并处理, 以生成处理器利用 率信息。 3.根据权利要求2所述的方法, 其中, 所述任务参考信息还包括: 处理器利用率上限值 和子任务平均计算 耗时上限值; 以及 所述根据所述处理器利用率信息组、 所述任务参考信息所包括的子任务并行度、 子任 务单位计算 耗时和目标 单位计算 耗时比例, 生成对应所述目标任务的任务调整信息, 包括: 将所述处理器利用率信息组包括的各个扩容处理器利用率的平均值确定为集群扩容 处理器利用率; 将所述任务参考信息所包括的各个子任务单位计算耗时中计算耗时最大的子任务单 位计算耗时确定为子任务 最大单位计算 耗时; 响应于确定所述集群扩容处理器利用率大于所述处理器利用率上限值, 且所述子任务 最大单位计算耗时大于所述子任务平均计算耗时上限值, 根据所述目标单位计算耗时比 例、 所述任务参考信息所包括的各个子任务并行度和子任务单位计算耗时, 生成任务调整 信息。 4.根据权利要求2所述的方法, 其中, 所述任务参考信息还包括: 处理器利用率下限值 和子任务平均计算 耗时下限值; 以及 所述根据所述处理器利用率信息组、 所述任务参考信息所包括的子任务并行度、 子任 务单位计算 耗时和目标 单位计算 耗时比例, 生成对应所述目标任务的任务调整信息, 包括: 将所述处理器利用率信息组包括的各个缩容处理器利用率中最大的缩容处理器利用 率确定为 最大缩容处 理器利用率; 将所述任务参考信息所包括的各个子任务单位计算耗时中计算耗时最小的子任务单 位计算耗时确定为子任务 最小单位计算 耗时;权 利 要 求 书 1/3 页 2 CN 115309540 A 2响应于确定所述最大缩容处理器利用率小于所述处理器利用率下限值, 以及所述子任 务最小单位计算耗时小于所述子任务平均计算耗时下限值, 根据所述目标单位计算耗时比 例、 所述任务参考信息所包括的各个子任务并行度和子任务单位计算耗时, 生成任务调整 信息。 5.根据权利要求3或4所述的方法, 其中, 所述任务参考信息还包括: 任务拓扑图, 所述 任务拓扑图用于表示所述各个子任务并行度对应的各个子任务之 间的拓扑关系; 所述各个 子任务并行度中的子任务并行度对应一子任务单位计算 耗时; 以及 所述根据 所述目标单位计算耗 时比例、 所述任务参考信 息所包括的各个子任务并行度 和子任务单位计算 耗时, 生成任务调整信息, 包括: 对于所述各个子任务并行度中的每个子任务并行度, 基于所述目标单位计算耗时比 例、 所述子任务并行度和对应所述子任务并行度的子任务单位计算耗时, 生成子任务调整 并行度; 对于所生成的每个子任务调整 并行度, 将所述任务拓扑图中的目标子任务的子任务并 行度调整为所述子任务调整并行度, 其中, 所述目标子任务为: 所述任务拓扑图中的对应所 述子任务调整并行度的子任务; 将调整完成的任务拓扑图确定为任务调整信息 。 6.根据权利要求1所述的方法, 其中, 所述任务调整信息包括: 调整任务拓扑图; 以及 所述根据所述任务调整信息, 对所述目标任务进行调整处 理, 包括: 对所述调整任务拓扑图进行拓扑解析处 理, 得到任务槽预测量和缓存器预测量; 获取所述计算节点 集群中所述目标任务所占用的缓存器数量; 将所述缓存器预测量与所述缓存器数量的差值确定为缓存器增 加量; 将所述缓存器增 加量与单位缓存器占用内存的乘积确定为缓存器增 加内存量; 根据所述任务槽预测量、 所述缓存器增加内存量、 所述任务参考信息和所述任务调整 信息, 对所述目标任务进行调整处 理。 7.根据权利要求6所述的方法, 其中, 所述根据所述任务槽预测量、 所述缓存器增加内 存量、 所述任务 参考信息和所述任务调整信息, 对所述目标任务进行调整处 理, 包括: 对所述任务槽预测量与单位任务槽预设量的比值进行向上取整处理, 以生成取整比值 作为计算节点调整量, 其中, 所述单位任务槽预设量表示计算节点包括的任务槽的数量; 根据所述计算节点调整量、 所述目标任务对应的处理器利用率均值与计算节点数量, 生成对应所述目标任务的预测处 理器利用率; 响应于所述预测处理器利用率满足预设调整条件, 根据 所述缓存器增加内存量和所述 任务调整信息, 对所述目标任务进行调整处 理。 8.根据权利要求7所述的方法, 其中, 所述任务参考信息还包括: 目标处理器利用率和 处理器核心数 上限值; 以及 所述根据所述任务槽预测量、 所述缓存器增加内存量、 所述任务参考信息和所述任务 调整信息, 对所述目标任务进行调整处 理, 还包括: 响应于所述预测 处理器利用率不满足所述预设调整条件, 基于单位处理器核心数、 所 述处理器利用率均值、 所述计算节点数量、 所述目标 处理器利用率和所述计算节点调整量, 生成调整处 理器核心数;权 利 要 求 书 2/3 页 3 CN 115309540 A 3

.PDF文档 专利 任务调整方法、装置、电子设备和计算机可读介质

文档预览
中文文档 23 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共23页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 任务调整方法、装置、电子设备和计算机可读介质 第 1 页 专利 任务调整方法、装置、电子设备和计算机可读介质 第 2 页 专利 任务调整方法、装置、电子设备和计算机可读介质 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-18 13:30:24上传分享
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。