(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210834359.3 (22)申请日 2022.07.14 (71)申请人 桂林理工大 学 地址 541004 广西壮 族自治区桂林市七 星 区建干路12号 (72)发明人 敬超　李佳明　邱斌　胡君达　 陈文鹏　 (74)专利代理 机构 桂林文必达专利代理事务所 (特殊普通 合伙) 45134 专利代理师 张学平 (51)Int.Cl. G06F 1/329(2019.01) G06F 9/48(2006.01) G06F 9/50(2006.01) G06K 9/62(2022.01)G06N 3/08(2006.01) (54)发明名称 一种面向CPU/GPU服务器的自适应节能选择 方法 (57)摘要 本发明涉及异构计算技术领域， 具体涉及一 种面向CPU/GPU服务器的自适应节能选择方法， 采用A3C算法对集群的任务分配进行优化， 构建 出基于A3C深度强化学习的节能调度算 法， 即EE‑ A3C算法， 其中通过A3C算法让多个线程并行执 行， 可以去除训练过程中过程转移样本之间的关 联性， 提高训练稳定性， 减小对内存和GPU的要 求， 同时使用DVFS策略和处理器策略共同组成了 任务分配方式， 把所有可能的任务分配方式作为 EE‑A3C算法的动作空间， 通过不断地与环境交互 学习， EE‑A3C算法能够针对不同类型的任 务集环 境， 自适应地选取合适的任务分配方法以达到节 能效果。 权利要求书2页 说明书12页 附图4页 CN 115145383 A 2022.10.04 CN 115145383 A 1.一种面向CPU/GPU服 务器的自适应节能选择 方法， 其特 征在于， 包括下列步骤： 将异构服 务器集群的任务调度问题建模为马尔可 夫决策过程； 结合异构服务器集群的特点对马尔可夫 决策过程中的状态 空间、 动作空间和奖励函数 进行详细的建模； 对最小化 集群总能耗进行说明； 构建基于A3 C深度强化学习的节能调度算法。 2.如权利要求1所述的面向CPU/GPU服 务器的自适应节能选择 方法， 其特 征在于， 将异构服务器集群的任务调度问题建模为马尔可夫决策过程， 具体为使用状态s描述 整个集群系统的情况， 使用动作a描述任务的分配过程， 在特定集群系统状态s下,使用动作 a分配任务， 可以产生一个奖励r并使得集群系统进入下一个新的状态， 当集群系统工作完 成后累加奖励计算得出回报， 最后将任务调度问题表 示为一个元 组<S,A,P,R, γ>， 即状态空 间S， 动作空间A， 奖励函数R,状态转移概 率P， 折扣系数γ。 3.如权利要求2所述的面向CPU/GPU服 务器的自适应节能选择 方法， 其特 征在于， 在状态空间建模的过程中， 状态空间S指观测到的环境状态， 包括集群的状态和任务队 列的状态和待分配任务状态； 在动作空间建模的过程中， 动作空间A是智能体在与环境交互中所能选取的动作的集 合， 即可选任务分配方式的集 合； 在奖励函数建模的过程中， 集群环境中对应于每次任务分配完成后都会产生一个奖 励， 奖励函数R的主要由任务分配情况、 开启服务器数量情况、 集群总能耗情况决定， 鼓励少 开服务器、 少能耗的任务分配。 4.如权利要求3所述的面向CPU/GPU服 务器的自适应节能选择 方法， 其特 征在于， 任务分配包括确定任务运行时的 电压/频率配置问题和任务处理器分配问题， 其中采 用了DVFS策略解决任务运行时的电压/频率配置问题， 采用处理器策略解决任务处理器分 配问题。 5.如权利要求 4所述的面向CPU/GPU服 务器的自适应节能选择 方法， 其特 征在于， 所述DVFS策略包括能耗优先策略、 时限优先策略和能耗时限综合策略， 所述能耗优先 策略以最小化当前任务完成所需能耗为 目标， 而不考虑任务时限的影响， 所述时限优先策 略以完成任务为目标而不考虑节能效果， 所述能耗时限综合策略综合考虑能耗和时限两方 面的因素， 适 合计算资源不充裕也 不紧张的场景。 6.如权利要求 4所述的面向CPU/GPU服 务器的自适应节能选择 方法， 其特 征在于， 所述处理器策略包括首次适应策略、 最小负载优先策略、 偏好最小负载优先策略和后 最小负载优先策略， 所述处理器策略针对当前待分配的任务以及通过频率策略设定的电 压/频率设置， 将任务分配到合适的处理器上， 实现更好的节能效果同时保证任务不会错过 时限。 7.如权利要求1所述的面向CPU/GPU服 务器的自适应节能选择 方法， 其特 征在于， 所述最小化集群总能耗即优化目标， 优化目标如公式所示： min.Ecluster 权　利　要　求　书 1/2 页 2 CN 115145383 A 2其中， Ecluster为集群总能耗， Ji表示第i个任务， 约束条件s.t.满足 即第i个任 务的工作频率 小于等于其时限 8.如权利要求1所述的面向CPU/GPU服 务器的自适应节能选择 方法， 其特 征在于， 所述基于A3C深度强化学习的节能调度算法包含一个全局的Actor ‑Critic网络和若干 个Worker， 每个Worker都是一个完整的AC网络， 包含了Actor网络、 Critic网络以及一个本 地的环境， 可以并行运行， 同时各自与本地环境进行交 互学习。权　利　要　求　书 2/2 页 3 CN 115145383 A 3