(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210756389.7 (22)申请日 2022.06.30 (71)申请人 江南大学 地址 214000 江苏省无锡市蠡湖大道180 0 号江南大 学 (72)发明人 吴琼　汪文华　 (74)专利代理 机构 南京苏高专利商标事务所 (普通合伙) 32204 专利代理师 柏尚春 (51)Int.Cl. H04L 67/60(2022.01) H04L 67/61(2022.01) H04L 67/12(2022.01) G06F 9/50(2006.01) G06F 9/445(2018.01) (54)发明名称 基于异构通信技术超可靠低时延强化学习 的任务卸载 方法 (57)摘要 本发明公开了一种基于异构通信技术超可 靠低时延强化学习的任务卸载方法， 构建车辆边 缘计算场景及车辆异构通信网络， 车辆可以通过 三种通信技术将任务卸载到服务器进行处理； 构 建基站队列动态 变化模型， 保证基站队列的稳定 性； 使用随机网络演算理论计算基于不同通信技 术进行卸载的系统延迟上界， 该延 迟包括了通信 传输时间以及服务器处理时间； 建立车辆边缘计 算系统效用； 建立优化问题， 优化目标为最小化 系统效用， 同时保证任务卸载延 迟和基站队列的 稳定性； 使用SoftActor  Critic强化学习来学习 每个任务的卸载策略和服务器CPU分配策略。 本 发明采取的任务卸载策略和资源分配方案在降 低系统效用、 控制系统稳定性和保证任务传输时 延要求优于其 他的卸载和资源分配方案 。 权利要求书6页 说明书20页 附图4页 CN 115118783 A 2022.09.27 CN 115118783 A 1.一种基于异构通信技术超可靠低时延强化学习的任务卸载方法， 其特征在于， 包括 以下步骤： (1)构建车辆边缘计算场景， 所述场景由一个连接服务器的基站、 多个路侧单元和车辆 组成； 构建由毫米波、 DSRC和CV2 I三种通信技术构成车辆异构通信网络， 车辆可以通过三种 通信技术将任务卸载到服 务器进行处 理； (2)基于随机网络演算理论构建有界突发型的流 量模型； (3)构建基站队列动态变化模型， 保证 基站队列的稳定性； (4)基于随机网络演算理论建立毫米波、 DSRC和CV2I三种通信技术的通信传输模型， 同 时建立CPU的计算处理模 型； 由串联定理， 对通信 传输模型和计算处理模型进 行最小加卷积 得到系统 处理模型； (5)推导基于各个通信技术进行卸载和处理的延迟概率上界； 所述延迟包括了通信传 输时间以及服 务器计算处理时间； (6)建立车辆边 缘计算系统效用， 所述系统效用由通信效用和计算效用组成； (7)建立优化问题， 优化目标为最小化系统效用， 同时保证任务卸载延迟和基站队列的 稳定性； (8)使用Soft  Actor Critic强化学习来学习每个任务的卸载策略和服务器CPU分配策 略。 2.根据权利要求1所述的基于异构通信技术超可靠低时延强化学习的任务卸载方法， 其特征在于， 所述 步骤(2)实现过程如下： 假设车辆有K种类 型的任务需要处理， 在每个t时隙的开始， Ai(t)为在时间间隔[t,t+1) 内累积到达队列i的任务数据量； 同时给定一个时间间隔0≤s≤t， 定义二元非累积量Ai(s, t)＝Ai(t‑s)＝Ai(t)‑Ai(s)为第i个到达队列i的累积任务量， Ai(s,t)为有界突发型的流量 模型， 满足平稳非负随机过程： Ai(s,t)＝ λi[ρi(t‑s)+σi]    (1) 其中， ρi为任务到达速率， σi为任务突发大小， 二者都为 常数， λi满足泊松分布， λi表示在 [s,t)时间 间隔内产生第i个任务的车辆数目。 3.根据权利要求1所述的基于异构通信技术超可靠低时延强化学习的任务卸载方法， 其特征在于， 所述 步骤(3)实现过程如下： 基站的队列长度表示 为： 其中， qi(t)为第i个任务在时隙t开始时刻的的队列长度， fE为服务器的最大CPU处理时 钟速率， ωi表示服务器处理每比特任务i的数据量需要 CPU时钟周期， αi(t)表示服务器给第 i个任务分配的CPU时钟周期占比， 且[x]+＝max(x,0)； 通过以下 的定义来控制所有队列的 稳定性： 式(3)的左端描述了队列的长期时间平均积压； 式(3)意味着队列的强稳定性对应于具权　利　要　求　书 1/6 页 2 CN 115118783 A 2有有限平均排队延迟的有限平均积压 。 4.根据权利要求1所述的基于异构通信技术超可靠低时延强化学习的任务卸载方法， 其特征在于， 所述 步骤(4)实现过程如下： 用βmmw(s,t)表示[s,t)时间间隔mmwave能提供的全部通信传输量， 用C(q)表示q时隙的 信道容量， ζ(q)表示q时隙的信道增益， 表示信噪比， B表示带宽， l和 δ 分别表示传输距离和 路径损耗指数， 毫米波能提供的总通信传输量 为： 其中η＝Blog2e， 用 表示任务i通过毫米波进行通信传输的任务比例； 毫米波能提供 第i个任务的通信传输量 为： 其中 使用随机网络演算理论中延迟 ‑速率模型来建立时间间隔[s,t)内DSRC通信能提供的 总通信传输量： Rdsrc为DSRC通信带宽， 表示通过DSRC进行传输数据时发生冲突的平均接入延迟； DSRC能提供第i个任务的通信传输量 为： 其中 表示任务i通过DSRC 进行通信传输的任务比例； 用 βicv2i(s,t)表示[s,t)时间 间隔DSRC能提供第i个任务的通信传输量: 其中Rcv2i为预留给第i个任务的通信带宽， 其中 用 表示服务器CPU在时间间隔[s,t)内能提供给卸载到服务器任务i的计算处 理量， 该计算处 理量等于公式(2)中CPU处 理的任务 量： 令集合 表示可以卸载的通信技术； 用 表示时间间隔[s,t)经 由通信技术 卸载到服务器的任务i的任务量， 表示任务i通过通信技术g进行通信 传输的任务比例， qi(s)表示s时刻前基站队列i中还未处理的积压任务， 用 表示服务 器CPU在时间 间隔[s,t)提供 给 的计算处 理量， 能获得的计算处 理量计算 为：权　利　要　求　书 2/6 页 3 CN 115118783 A 3