(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210542618.5 (22)申请日 2022.05.18 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦二层 (72)发明人 赵英利　曹州　梁建中　敖玉龙　 吴志华　于佃海　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 罗岚 (51)Int.Cl. G06T 1/20(2006.01) G06F 9/50(2006.01) G06N 20/00(2019.01) (54)发明名称 基于多GPU的分布式深度学习方法、 装置及 电子设备 (57)摘要 本公开提供了一种基于多图形处理器 GPU的 分布式深度学习方法、 装置及电子设备， 涉及人 工智能领域， 尤其涉及深度学习及云计算技术领 域。 具体实现方案为： 确定当前阶段满足参数自 动转换条件， 则获取上一阶段的第一切片参数； 对第一切片参数进行拼接， 以得到完整模型参 数； 获取当前阶段对应的分布式属性信息， 并对 完整模型参数进行切分以得到第二切片参数； 将 第二切片参数分配至 各自对应的GP U， 以使GP U进 行深度学习模型的深度学习。 由此， 本公开能够 根据切片参数及其分布式属性， 自动对模型参数 进行转换， 以保证模型的可持续性以及正确的推 理， 进而通过提高参数合并过程中的效率和准确 率， 确保分布式深度学习模型的深度学习效果。 权利要求书4页 说明书13页 附图9页 CN 114820279 A 2022.07.29 CN 114820279 A 1.一种基于多图形处 理器GPU的分布式深度学习方法， 包括： 确定当前阶段满足参数自动转换条件， 则获取上一阶段的第 一切片参数， 其中， 所述第 一切片参数为对深度学习模型的完整模型参数进行切分得到的参数； 对所有的所述第一切片参数进行拼接， 以得到所述完整模型参数； 获取所述当前阶段对应的分布式属性信 息， 并根据 所述当前阶段对应的分布式属性信 息重新对所述完整模型参数进行切分以得到第二切片参数； 将所述第二切片参数分配至各自对应的GPU， 以使所述GPU根据对应的所述第二切片参 数进行所述深度学习模型的深度学习。 2.根据权利要求1所述的方法， 其中， 所述对所有的所述第一切片参数进行拼接， 以得 到所述完整模型参数， 包括： 获取每个所述第一切片参数在所述完整模型参数中的索引； 根据所述索引， 确定所述第一切片参数的拼接顺序， 并根据所述拼接顺序对所有的所 述第一切片参数进行 数组拼接及递归处 理， 以得到所述完整模型参数。 3.根据权利要求1或2所述的方法， 其中， 所述获取所述当前阶段对应的分布式属性信 息， 包括： 获取用于表征切分大小的进程组拓扑结构， 以及用于表征切分方向的所述完整模型参 数与拓扑 结构维度的切分映射关系作为所述当前阶段对应的分布式属性信息 。 4.根据权利要求3所述的方法， 其中， 所述根据所述当前阶段对应的分布式属性信 息重 新对所述完整模型参数进行切分以得到第二切片参数， 包括： 根据所述进程组拓扑 结构， 获取 所述完整模型参数的切分大小； 根据所述完整模型参数与 所述拓扑结构 维度的所述切分映射关系， 获取所述完整模型 参数的切分方向； 根据所述切分大小和所述切分方向， 对所述完整模型参数进行切分以得到所述第 二切 片参数。 5.根据权利要求4所述的方法， 其中， 所述根据所述进程组拓扑结构， 获取所述完整模 型参数的切分大小， 包括： 获取所述进程组拓扑 结构的结构元 素的取值； 根据所述结构元 素的取值， 确定对所述完整模型参数进行切分的目标切分大小。 6.根据权利要求4或5所述的方法， 其中， 所述根据所述完整模型参数与所述拓扑结构 维度的所述切分映射关系， 获取 所述完整模型参数的切分方向， 包括： 获取所述切分映射关系的关系元 素的取值； 根据所述关系元 素的取值， 获取 所述完整模型参数的切分方向。 7.根据权利要求6所述的方法， 其中， 所述根据所述关系元素的取值， 获取所述完整模 型参数的切分方向， 包括： 确定第一位关系元素的取值和第 二位关系元素的取值均为目标取值， 则确定所述切分 方向为行 方向和列方向； 或者， 确定所述第 一位关系元素的取值为所述目标取值， 且所述第 二位关系元素的取值非所 述目标取值， 则确定所述切分方向为行 方向； 或者， 确定所述第 一位关系元素的取值非所述目标取值， 且所述第 二位关系元素的取值为所权　利　要　求　书 1/4 页 2 CN 114820279 A 2述目标取值， 则确定所述切分方向为列方向。 8.根据权利要求2所述的方法， 其中， 所述将所述第 二切片参数分配至各自对应的GPU， 包括： 获取每个所述GPU对应的进程序号； 根据所述索引和所述进程序号， 按序将所述第二切片参数分配至对应的所述GPU。 9.根据权利要求1所述的方法， 其中， 所述方法还 包括： 获取参与所述深度学习模型进行深度学习的所述GPU的处 理器数量； 根据所述处 理器数量和所述资源数量， 对所述GPU 进行分组。 10.根据权利要求9所述的方法， 其中， 所述根据所述处理器数量和所述资源数量， 对所 述GPU进行分组， 包括： 响应于所述当前阶段对应的所述资源数量大于1， 则根据所述资源数量确定目标节点； 获取所述目标节点的节点数量， 并根据所述处理器数量和所述节点数量， 对所述GPU进 行分组。 11.根据权利要求1所述的方法， 其中， 所述确定当前阶段满足参数自动转换条件， 包 括： 确定所述上一阶段对应的第 一资源数量与 所述当前阶段对应的第 二资源数量不一致， 则确定所述当前阶段满足所述 参数自动转换 条件； 或者， 确定所述上一阶段对应的第 一并行策略与 所述当前阶段对应的第 二并行策略不一致， 则确定所述当前阶段满足所述 参数自动转换 条件； 或者， 确定所述第 一资源数量与 所述第二资源数量不一致， 且所述第 一并行策略与 所述第二 并行策略不一致， 则确定所述当前阶段满足所述 参数自动转换 条件。 12.一种基于多图形处 理器GPU的分布式深度学习装置， 包括： 获取模块， 用于确定当前阶段满足参数自动转换条件， 则获取上一阶段的第一切片参 数， 其中， 所述第一切片参数为对深度学习模型的完整模型参数进行切分得到的参数； 拼接模块， 用于对所有的所述第一切片参数进行拼接， 以得到所述完整模型参数； 切分模块， 用于获取所述当前阶段对应的分布式属性信息， 并根据所述当前阶段对应 的分布式属性信息 重新对所述完整模型参数进行切分以得到第二切片参数； 分配模块， 用于将所述第二切片参数分配至各自对应的GPU， 以使所述GPU根据对应的 所述第二切片参数进行 所述深度学习模型的深度学习。 13.根据权利要求12所述的装置， 其中， 所述 拼接模块， 还用于： 获取每个所述第一切片参数在所述完整模型参数中的索引； 根据所述索引， 确定所述第一切片参数的拼接顺序， 并根据所述拼接顺序对所有的所 述第一切片参数进行 数组拼接及递归处 理， 以得到所述完整模型参数。 14.根据权利要求12或13所述的装置， 其中， 所述切分模块， 还用于： 获取用于表征切分大小的进程组拓扑结构， 以及用于表征切分方向的所述完整模型参 数与拓扑 结构维度的切分映射关系作为所述当前阶段对应的分布式属性信息 。 15.根据权利要求14所述的装置， 其中， 所述切分模块， 还用于： 根据所述进程组拓扑 结构， 获取 所述完整模型参数的切分大小； 根据所述完整模型参数与 所述拓扑结构 维度的所述切分映射关系， 获取所述完整模型权　利　要　求　书 2/4 页 3 CN 114820279 A 3