(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210632036.6 (22)申请日 2022.06.07 (71)申请人 之江实验室 地址 311100 浙江省杭州市余杭区中泰街 道之江实验室南湖总部 (72)发明人 朱春节　周方　汤志航　秦亦　 曾令仿　何水兵　 (74)专利代理 机构 杭州浙科专利事务所(普通 合伙) 33213 专利代理师 孙孟辉 (51)Int.Cl. G06F 9/50(2006.01) G06N 3/08(2006.01) (54)发明名称 一种面向多并发深度学习训练任务的数据 缓存方法和装置 (57)摘要 本发明公开一种面向多并发深度学习训练 任务的数据缓存方法和装置， 该方法包括： 步骤 一， 对多并发任务中每个任务执行预热训练， 采 集任务训练批次样本的特征参数， 根据特征参数 对所有任务进行排序； 步骤二， 计算每个任务在 系统预分配下每个训练批次样本在缓存空间中 的样本数目和每个任务期望每个训练批次样本 在缓存空间中的样本数目； 步骤三， 采用缓存动 态分配和管理策略并发执行任务的深度学习训 练； 步骤四， 当各任务进入最后一个训练周期时， 不再有新的样本数据加入这些任务的缓存空间， 同时随着缓存空间内的样本数据被逐渐使用消 耗， 被占用的缓存空间逐步被释放， 被释放的缓 存空间被其他尚未结束的任务使用。 本发明提高 了全局缓存空间的利用率。 权利要求书3页 说明书8页 附图5页 CN 114968588 A 2022.08.30 CN 114968588 A 1.一种面向多并发深度学习训练任务的数据缓存方法， 其特 征在于， 包括以下步骤： 步骤一， 对多并发任务中每个任务的样本集， 单独执行一个训练周期的预热训练， 并采 集训练批次样本的特 征参数， 根据采集到的特 征参数， 对所有任务进行排序 产生列表； 步骤二， 计算每个任务在 默认缓存分配方案下每个训练批次样本在缓存空间中的平均 样本数目和每 个任务期望每 个训练批次样本在缓存空间中的样本数目； 步骤三， 基于步骤二中计算得到的两个参数， 多并发任务采用缓存动态分配和管理策 略并发执 行深度学习训练； 步骤四， 当各任务进入最后一个训练周期时， 不再有新的样本数据加入各任务的缓存 空间， 同时 随着缓存空间内的样本数据被逐渐使用消耗， 被占用的缓存空间逐步被释放， 被 释放的缓存空间被其 他尚未结束的任务使用。 2.如权利要求1所述的一种面向多并发深度学习训练任务的数据缓存方法， 其特征在 于， 所述步骤一具体包 含如下子步骤： 步骤S11， 获取初始参数配置， 并发任务的总数记为 ， 对于其中的任务 ， 所 用数据集包含样 本总数记为 ， 一个训练批次包含的样 本数记为 ， 系统预分配的缓存空间 最多可保存的样本数记为 ； 步骤S12， 预热训练不使用任何缓存， 当每个任务预热训练完成时， 统计其信息： 任务 单独执行一个训练周期所需的时间， 记为 ； 载入一个训练批次的I/O平均时间， 记 为 ； 载入一个样本的平均时间， 记为 ； 增强一个训练批次的平均时间， 记为 ； 训 练一个训练批次的平均时间， 记为 ； 步骤S13， 根据步骤S12获取的任务 执行一个训练周期所需的时间 ， 对所有任 务作一次升序排序， 得到有序的任务列表： ， 并且列表中每个任务 包含参数 作为该任务向空闲缓存池 申请缓 存空间的增益系数， 即每当该任务向空闲缓存池 申请一个样本的空间时， 空闲缓存池将分 配 倍的缓存空间给 此任务， 同时， 的值与 呈反相关， 且 =0。 3.如权利要求2所述的一种面向多并发深度学习训练任务的数据缓存方法， 其特征在 于， 所述步骤二具体包 含如下子步骤： 步骤S21， 计算每个任务 在默认的缓存分配方案即系统预分配情况下每个训练批 次样本在缓存空间中命中的样本数目 ， 表达式为： ， 为排序后的任务 所用数据集包含样本总数， 为排序后的任务 的一个训 练批次包 含的样本数， 为排序后的任务 在系统预分配的缓存空间可保存的样本数； 步骤S22， 计算每个任务 期望每个训练批次样本在缓存空间中的样本数目 ， 表达 式为：权　利　要　求　书 1/3 页 2 CN 114968588 A 2。 4.如权利要求3所述的一种面向多并发深度学习训练任务的数据缓存方法， 其特征在 于， 所述步骤三具体包括如下子步骤： 步骤S31， 将多并发任务的空闲缓存空间组成一个全局的空闲缓存池， 其总大小记为 totalMem， 每个任务的缓存空间在逻辑上可分为两部分， 记为 和 ， 其中 保存着上一训练周期进入缓存空间而当前训练周期将被使用的样本， 保存 当前训练周期进入缓存而下一训练周期将被使用的样本； 其中， 初始情况下全局的空闲缓 存池totalMem由下述公式计算而出： 步骤S32， 对于任务 ， 在每个训练周期内持有两个样本访问序列， 其中一个指示当 前训练周期内样本访问顺序， 记为 ， 另一个指示下一训练周期内的样本访问顺序， 记为 ， 所述 从头到尾依次划分成不同的序列片段， 每个片段对应一个训练批次， 每个片 段配置一个计数器， 记录训练批次在当前训练周期内进入缓存空间的样本数目， 当一个训 练周期开始时该任务的所有计数器清零， 然后进入步骤S3 3； 步骤S33， 若任务 请求的样本 在其缓存空间 命中， 则从 获取命中的样本， 并将空闲缓存池totalMem加一， 否则从底层存储系统载入样本； 然 后进入步骤S34； 步骤S34， 在 任务 的下一训练周期内的样 本访问顺序 中检索请求的样本 ， 计算请求的样本 在下一训练周期所属的训练批次， 记为 ， 然后获取该训练批次 的计数器值， 记为 ， 并转入步骤S3 5； 步骤S35， 当 且 没有空闲空间时， 转入步骤S36； 当totalMem  > 0时， 若 ， 则任务 根据其增益系数从空闲缓存池申请空 间给 （若缓存池为空则 申请失败） ， 然后将请求的样本 插入 ， 然后 加一， 更新totalMem， 并转入步骤 S38； 若 ， 则 不进入任务 的缓存空间， 并转入步骤S38； 步骤S36， 若 ， 请求的样本 不进入任务 的缓存空间， 并转入步骤S38； 若 ， 则转入步骤S37； 步骤S37， 若任务 的 含有空闲空间， 则样本 进入 ， 并转入步骤 S38； 反之， 若任务 是 列表中的第一个任务(即i=0)， 则请求的样本 不进入 的缓存空间， 并转入步骤S38； 否则 列表中的上一个任务 的 需提供一个空 闲空间给 ， 具体做法是若 含有空闲空间， 则直接将一个单位的空闲空间移 至 ， 否则随机选择其 中的一个样本淘汰， 将淘汰样本对应的训练批次的计 数器减一， 然后将空出的缓存空 间移至 ， 并将样本 插入 ， 相应的训练批权　利　要　求　书 2/3 页 3 CN 114968588 A 3