(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210650520.1 (22)申请日 2022.06.09 (71)申请人 中国科学院软件研究所 地址 100190 北京市海淀区中关村南四街 4 号 (72)发明人 姬晨晨　于佳耕　侯朋朋　邰阳　 苗玉霞　佟晓宇　张丽敏　全雨　 武延军　 (74)专利代理 机构 北京君尚知识产权代理有限 公司 11200 专利代理师 邱晓锋 (51)Int.Cl. G06F 9/50(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06N 5/04(2006.01) (54)发明名称 一种边缘异构场景中的端云协同推理方法 和系统 (57)摘要 本发明公开了一种边缘异构场景中的端云 协同推理方法和系统。 该方法包括离线和在线的 两个阶段。 在离线阶段， 得到 各个节点CPU以及内 存占用率与神经网络每层推理时间的逻辑回归 函数。 在线阶段动态获取CPU与内存使用率， 实时 更新当前CPU和内存压力值下的神经网络 各层的 执行时间， 根据此时间选择最佳模 型划分点与最 优节点， 以达到最大的系统吞吐量。 本发明公开 了一种边缘异构场景中的端云协同推理框架的 组成原理， 可以确定异构边缘计算系统的最佳边 缘设备和模型划分点， 应用于图像分类检测系 统， 达到系统高吞吐量要求。 权利要求书2页 说明书7页 附图3页 CN 115048218 A 2022.09.13 CN 115048218 A 1.一种边 缘异构场景中的端云协同推理方法， 其特 征在于， 包括以下步骤： 在离线阶段， 获得各个边缘设备和云服务器的CPU占用率、 内存占用率与神经网络的每 层推理时间的逻辑回归函数； 在在线阶段， 动态获取边缘设备和云服务器的CPU占用率和内存占用率， 利用逻辑 回归 函数实时更新神经网络各层的执行时间， 根据神经网络各层的执行时间选择神经网络的最 佳模型划分点和最佳边 缘设备， 以达 到最大的系统吞吐量。 2.根据权利要求1所述的方法， 其特 征在于， 所述离线阶段包括： 获得神经网络模型的基本信息， 包括每层的输入输出 大小； 选择不同边缘设备和云服务器的实时CPU和内存使用情况作为确定变量， 训练多项式 回归模型， 用于每层运行时估计， 得到CPU和内存占用率与神经网络每层推理 时间的逻辑回 归函数。 3.根据权利要求1所述的方法， 其特征在于， 所述离线阶段采用以下步骤得到CPU和内 存占用率与神经网络每层推理时间的逻辑回归函数： 给边缘设备以及云服 务器造成确定的CPU占用率以及内存的占用率； 在不同的CPU占用率以及内存占用率的条件下运行不同的神经网络模型， 得到每个模 型每一层的执 行时间并记录； 根据CPU占用率、 内存占用率与神经网络各层执行之间的关系， 利用数学工具进行拟 合， 预测在不同CPU占用率、 内存占用率下的神经网络各层执 行时间。 4.根据权利要求1所述的方法， 其特 征在于， 所述在线阶段包括： 获取当前网络传输的带宽， 根据当前网络传输的带宽和数据的输出大小， 获得神经网 络每层中间结果的传输时间； 获取各个当前可用边缘设备以及云服务器的CPU以及内存占用率大小， 利用逻辑回归 函数更新各层神经网络在边 缘端的执 行时间， 并更新各层神经网络在云端的执 行时间； 由神经网络每层中间结果的传输时间， 各层神经网络在边缘端的执行时间， 以及各层 神经网络在云端的执行时间， 获得最佳 的模型划分点以及最佳的边缘设备， 达到系统最大 吞吐量。 5.根据权利要求1所述的方法， 其特 征在于， 所述在线阶段包括： 在边缘异构场景中部署Kubernetes， 用于进行容器管理、 计算配置以及网络资源分配 功能； 部署Prometheus以及Node ‑export来进行实时监控， 以实时获取每个边缘设备和云服 务器的CPU和内存占用情况， 并执 行模型划分算法， 将划分结果分发到边 缘设备上； 边缘设备接收到划分结果后， 执行相应的网络层的计算， 并得到 中间结果， 此中间结果 发送到云服 务器上， 云服 务器执行剩下的网络层的计算， 获得最终结果。 6.根据权利要求1所述的方法， 其特征在于， 所述在线阶段采用以下步骤获得最佳的模 型划分点以及最佳的边 缘设备： 遍历神经网络模型的所有层作为划分点， 计算在所有设备上三个阶段的时间， 分别是： 端侧推理总时间、 数据传输时间、 云端推理总时间； 遍历所有划分点下三个阶段的时间， 得到每个划分点下三个阶段中时间的最大值， 约 束其最大值最小， 得到最佳的模型划分点以及最佳的边 缘设备。权　利　要　求　书 1/2 页 2 CN 115048218 A 27.一种边 缘异构场景中的端云协同推理系统， 其特 征在于， 包括： 离线处理模块， 用于在离线阶段获得各个边缘设备和云服务器的CPU占用率、 内存占用 率与神经网络的每层推理时间的逻辑回归函数； 在线处理模块， 用于在在线阶段动态获取边缘设备和云服务器的CPU占用率和内存占 用率， 利用逻辑回归函数实时更新神经网络各层的执行时间， 根据神经网络各层的执行时 间选择神经网络的最佳模型划分点和最佳边 缘设备， 以达 到最大的系统吞吐量。 8.根据权利要求7所述的系统， 其特征在于， 所述在线处理模块采用以下方式获得最佳 的模型划分点以及最佳的边 缘设备： 遍历神经网络模型的所有层作为划分点， 计算在所有设备上三个阶段的时间， 分别是： 端侧推理总时间、 数据传输时间、 云端推理总时间； 遍历所有划分点下三个阶段的时间之和的最大值， 约束其最大值最小， 获得最佳的划 分策略以及最佳划分点。 9.一种电子装置， 其特征在于， 包括存储器和 处理器， 所述存储器存储计算机程序， 所 述计算机程序被配置为由所述处理器执行， 所述计算机程序包括用于执行权利要求 1～6中 任一项所述方法的指令 。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储计算机程 序， 所述计算机程序被 计算机执 行时， 实现权利要求1～6中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115048218 A 3