(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221074214 4.9 (22)申请日 2022.06.27 (71)申请人 中国—东盟信息 港股份有限公司 地址 530000 广西壮 族自治区南宁市良庆 区秋月路18号 (72)发明人 崔思恒　罗韬　 (74)专利代理 机构 广州海心联合专利代理事务 所(普通合伙) 44295 专利代理师 张栩颜　莫秀波 (51)Int.Cl. G06F 9/455(2006.01) G06F 9/50(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于强化学习的Kubernetes集群规模调整 方法、 系统及设备 (57)摘要 本 发 明 公 开 了 一 种基 于 强 化 学 习的 Kubernetes集群规模调整方法、 系统及设备， 属 于云计算技术领域， 解决目前不能智能调整集群 规模的技术问题。 方法包括步骤S1.设置节点资 源池； 配置集群信息， 配置好节点模板和预执行 脚本； 步骤S2.获取当前集群的状态参数； 步骤 S3.将状态参数输入强化学习代理中的决策网络 得到输出结果； 步骤S4.根据输出结果进行扩缩 容操作； 步骤S5.重新获取配置后的状态参数、 即 时奖励； 将配置前的状态参数、 配置动作、 即时奖 励、 配置后的状态参数作为一个训练样本， 保存 到训练集中； 步骤S6.从训练集中随机选取若干 个训练样 本训练强化学习代理 中的训练网络； 步 骤S7.执行步骤S2～步骤S6， 达到设定循环次数 后， 根据训练网络的参数 更新决策网络 。 权利要求书2页 说明书5页 附图1页 CN 114880079 A 2022.08.09 CN 114880079 A 1.一种基于强化学习的Kubernetes集群规模调整方法， 其特 征在于， 包括以下步骤： 步骤S1.结合云厂商提供的自动化能力， 设置按需启动节点资源或者回收节点资源需 要使用的节 点资源池； 配置需要进行规模调整的Kuber netes集群信息， 配置好节 点模板， 设 置节点上的预 执行脚本； 步骤S2.获取Kubernetes集群中每个节点的相关参数数据， 作为当前Kubernetes集群 的状态参数； 步骤S3.将所述状态参数输入强化学习代理中的决策网络， 获取所述决策网络的输出 结果； 步骤S4.根据所述输出结果， 调整Kubernetes集群 的规模， 执行配置动作， 进行相应节 点的扩缩容操作； 步骤S5.在步骤S4完成后， 所述强化学习代理重新获取配置后的Kubernetes集群 的状 态参数； 获取Kubernetes集群指标并计算即时奖励； 将配置前的Kubernetes集群的状态参 数、 本次配置执行的配置动作、 即时奖励、 配置后的Kuber netes集群的状态 参数作为一个训 练样本， 保存到训练集中； 步骤S6.从所述训练集中随机选取若干个训练样本作为样本标签集， 使用所述样本标 签集训练所述强化学习代理中的训练网络； 步骤S7.重复执行步骤S2～步骤S6， 持续对集群规模进行调整； 达到设定循环次数后， 所述强化学习代理根据训练网络的参数 更新决策网络 。 2.根据权利要求1所述的基于强化学习的Kubernetes集群规模调整方法， 其特征在于， 在步骤S2中， 所述状态 参数包括Kuber netes集群内每个节点实际占用的CPU核数、 实际占用 的内存、 剩余的CPU 核数、 剩余的内存， 以及节点上运行的容器的请求 值与限制值的总和。 3.根据权利要求1所述的基于强化学习的Kubernetes集群规模调整方法， 其特征在于， 步骤S3包括： 步骤S31.将 当前Kubernetes集群的状态参数输入至所述决策网络， 所述决策网络输出 当前状态参数下与各个集群规模调整方法一一对应的预期即时奖励值和预期配置后集群 状态； 步骤S32.根据每个集群规模调整方法对应的预期即时奖励和预期配置后集群状态， 计 算每个配置方法对应的期望奖励； 步骤S33.从各个期望奖励中， 确定最大期望奖励， 将最大期望奖励对应的配置动作作 为输出结果。 4.根据权利要求3所述的基于强化学习的Kubernetes集群规模调整方法， 其特征在于， 在步骤S33中， 还可以将除去最大期望奖励之外的其他期望奖励对应的配置动作作为输出 结果， 以使训练样本更多样化， 避免陷入局部最优。 5.根据权利要求1所述的基于强化学习的Kubernetes集群规模调整方法， 其特征在于， 步骤S5包括： 步骤S51.所述强化学习代理重新获取配置后的Kubernetes集群的状态参数； 步骤S52.所述强化学习代理获取配置后得到的即时奖励， 其中即时奖励与系统资源利 用率、 能耗指标有关， 用于衡量当前配置动作的有效性； 步骤S53.设置训练集的上制， 如果训练集满了， 则需要替换掉保存时间最 早的数据。权　利　要　求　书 1/2 页 2 CN 114880079 A 26.根据权利要求1所述的基于强化学习的Kubernetes集群规模调整方法， 其特征在于， 步骤S6包括： 步骤S61.对于任意一个训练样本， 将所述训练样本中配置前的Kubernetes集群的状态 参数输入所述训练网络， 计算出 预期即使奖励值和预期配置后集群 状态； S62.基于神经网络算法中的损失函数， 将所述训练样本中实际获取的即时奖励值和实 际配置后集群 状态与神经网络预期值进行比较， 获取 所述训练网络的损失值； S63.在得到损失值之后， 利用误差反向传播算法更新训练网络的模型参数， 完成本次 训练。 7.一种基于强化学习的Kubernetes集群规模调整系统， 其特 征在于， 包括： Kubernetes规模调整 组件， 用于执行脚本命令、 添加或删除节点； 还用于与云厂商进行 对接， 实现及时申请、 释放 服务器资源的功能； Kubernetes集群监控组件， 用于获取 Kubernetes集群的多种监控参数； 强化学习代理组件， 用于决定配置动作， 并且训练强化学习代 理内部的两个神经网络， 不断优化配置决策； 所述Kubernetes规模调整组件结合云厂商提供的自动化能力， 设置按需启动节点资源 或者回收节点资源需要使用的节点资源池； 配置需要进行规模调整的Kubernetes集群信 息， 配置好节点模板， 设置节点上的预 执行脚本； Kubernetes集群监控组件获取Kubernetes集群中每个节点的相关参数数据， 作为当前 Kubernetes集群的状态参数； 所述强化学习代理组件根据权利要求1 ‑6任一项所述的基于 强化学习的Kubernetes集群规模调整方法来实现Kubernetes集群规模的调整。 8.一种计算机设备， 包括存储器和处理器， 所述存储器存储有计算机程序， 其特征在 于， 所述处理器执行所述计算机程序时实现权利要求1 ‑6任一项所述的基于强化学习的 Kubernetes集群规模调整方法的步骤。权　利　要　求　书 2/2 页 3 CN 114880079 A 3