(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210650241.5 (22)申请日 2022.06.09 (71)申请人 中国人民解 放军国防科技大 学 地址 410073 湖南省长 沙市开福区砚瓦池 正街47号 (72)发明人 马胜　蒋威　黎铁军　张建民　 吴利舟　罗莉　侯翔　易啸　徐睿　 王波　 (74)专利代理 机构 湖南兆弘专利事务所(普通 合伙) 43008 专利代理师 周长清 (51)Int.Cl. G06F 9/50(2006.01) G06N 3/063(2006.01) G06N 3/08(2006.01) (54)发明名称 一种面向流水线并行训练的内存调度方法 (57)摘要 本发明公开了一种面向流水线并行训练的 内存调度方法， 包括： 部署阶段： 将神经网络模型 以网络层为单元进行分割， 形成不同的网络分 区； 网络分区部署到不同的计算节点上； 训练阶 段： 每个计算节点仅负责所部署的网络分区的计 算； 每个计算节点与上游和下游计算节点进行数 据通信； 数据转移机制： 将计算节点中的激活数 据卸载到CPU内存， 等待数据需要再次被使用时 取回； 数据处理阶段： 对激活数据进行压缩， 再发 送给下游计算节点或者CPU内存； 下游计算节点 接收到激活数据以后， 或者原计算节点从CPU内 存取回激活数据以后， 计算节 点内部对激活数据 进行一次解压。 本发明具有原理简单、 容易实现、 可降低存 储负载和通信开销等优点。 权利要求书2页 说明书5页 附图3页 CN 115016937 A 2022.09.06 CN 115016937 A 1.一种面向流水线并行训练的内存调度方法， 其特 征在于， 包括： 部署阶段： 将神经网络模型以网络层为单元进行分割， 形成不同的网络分区； 将不同的 网络分区部署到不同的计算节点上； 训练阶段： 每个计算节点仅负责所部署的网络分区的计算； 每个计算节点与上游和下 游计算节点进行数据通信； 前向传播过程中接 收和发送激活数据， 反向传播过程接 收和发 送梯度数据； 数据转移机制： 将计算节点中的激活数据卸载到CPU内存， 等待数据需要再次被使用时 取回； 数据处理阶段： 对激活数据进行压缩， 再发送给下游计算节点或者CPU内存； 下游计算 节点接收到激活数据以后， 或者原计算节点从CPU内存取回激活数据以后， 计算节点内部对 激活数据进行一次解压 。 2.根据权利要求1所述的面向流水线并行训练 的内存调度方法， 其特征在于， 在所述训 练阶段中， 在前向传播阶段， 接收来自上游计算节点的激活数据， 完成前向计算， 然后将自 己的激活数据发送至下游计算节点。 3.根据权利要求1所述的面向流水线并行训练 的内存调度方法， 其特征在于， 在所述训 练阶段中， 在反向传播阶段， 接收来自下游计算节点的梯度数据， 完成反向计算， 然后将自 己的梯度数据发送给 上游计算节点。 4.根据权利要求1或2或3所述的面向流水线并行训练的内存调度方法， 其特征在于， 在 所述训练阶段中， 每个计算节点不断切换前向传播与反向传播的计算通道， 使小批次训练 数据不间断输入； 不同小批次的训练过程参杂在一起， 每个计算节点保存多个版本的激活 数据与权 重参数。 5.根据权利要求4所述的面向流水线并行训练 的内存调度方法， 其特征在于， 在所述训 练阶段中， 小批次的前向计算与反向计算存在时间间隔， 在小批次的反向计算来临前， 它 产 生的激活数据和它使用的权 重参数在此时间 间隔内不被使用。 6.根据权利要求1或2或3所述的面向流水线并行训练的内存调度方法， 其特征在于， 在 所述训练阶段中， 所述计算节点完成一个小批次的前向计算以后， 将产生的激活数据发送 至下游计算节点； 然后将激活数据卸载到其他的存储设备； 在此小批次的反向计算来临前， 从外部存储设备取回激活数据， 用于反向计算。 7.根据权利要求1或2或3所述的面向流水线并行训练的内存调度方法， 其特征在于， 在 所述数据处 理阶段中， 通过配置一个解压和压缩 模块来实现零 值压缩算法。 8.根据权利要求7所述的面向流水线并行训练 的内存调度方法， 其特征在于， 在所述训 练阶段中， 所述计算节点前向传播时的激活数据通信操作包括： 所述计算节点产生的激活数据 经过解压和压缩模块对数据进行压缩， 然后将压缩后的 数据发送至下游计算节点； 下游计算节点接收到压缩的激活数据以后， 解压和压缩单元对数据进行解压， 然后用 于前向计算。 9.根据权利要求7所述的面向流水线并行训练 的内存调度方法， 其特征在于， 在所述训 练阶段中， 所述计算节点卸载激活数据的操作包括： 所述计算节点的内部计算核心将产生的激活数据经解压和压缩单 元进行压缩；权　利　要　求　书 1/2 页 2 CN 115016937 A 2将压缩后的激活数据卸载至 CPU内存。 10.根据权利要求7所述的面向流水线并行训练的内存调度方法， 其特征在于， 在所述 训练阶段中， 所述计算节点取回激活数据的操作包括： 计算节点从CPU内存中取回压缩的激活数据； 解压和压缩单 元对数据进行解压； 解压的激活数据用于进行反向计算。权　利　要　求　书 2/2 页 3 CN 115016937 A 3