(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210625684.9 (22)申请日 2022.06.02 (71)申请人 北京理工大 学 地址 100081 北京市海淀区中关村南大街5 号 (72)发明人 陈禾　严天炜　张宁　陈亮　 刘文超　 (74)专利代理 机构 北京正阳理工知识产权代理 事务所(普通 合伙) 11639 专利代理师 张利萍 (51)Int.Cl. G06N 3/04(2006.01) G06N 3/063(2006.01) G06F 9/50(2006.01) (54)发明名称 基于FPGA的卷积神经网络自动部署方法 (57)摘要 本发明公开了一种基于FPGA的卷积神经网 络自动部署方法及设备， 通过构造自动化的神经 网络编译设备， 对各种输入的卷积神经网络模 型， 进行通用性的、 面向硬件的优化处理， 减少网 络复杂度； 并利用编译后得到的自定义硬件指令 对基于FPGA的、 包含了系列通用加速模块的神经 网络硬件加速设备进行配置， 控制其运算， 实现 了不同卷积神经网络模型在通用硬件加速设备 上的自动、 高效部署。 权利要求书2页 说明书7页 附图3页 CN 115186796 A 2022.10.14 CN 115186796 A 1.一种基于FPGA的卷积神经网络自动部署方法， 其特 征在于， 包括以下步骤： 构建面向硬件的通用性卷积神经网络优化方法； 基于所述优化方法， 构建基于FPGA的、 可配置、 通用化硬件加速设备； 构建用于对所述硬件加速设备进行配置的自定义硬件指令集； 构建神经网络编译设备， 按照所述优化方法对各种卷积神经网络模型进行优化， 并将 优化后得到的数据结构转 化为所述自定义硬件指令； 根据所述硬件指令对所述通用化网络硬件加速设备进行配置， 实现特定卷积神经网络 在通用硬件加速设备 上的自动部署。 2.如权利要求1所述的方法， 其特征在于， 所述卷积神经网络优化方法， 包括： 网络量化 方法、 操作统一方法、 以及动态切分方法中的一种或多种， 其中： 所述网络量 化方法中， 卷积的权 重量化位数和卷积的特 征图量化位数均设置为8； 所述操作统一方法， 将对网络的全连接操作和卷积操作统一为卷积操作， 将LeakyReLU 操作和ReLU操作统一 为LeakyReLU操作； 所述动态切分方法， 基于神经网络每一层的维度信息， 通过分析确定每一层的特征图 是否需要切分。 3.如权利要求2所述的方法， 其特 征在于， 所述动态切分方法包括以下步骤： 分析神经网络 中每一层的特征图存储需求， 得出大部分层可以完整存储特征图的存储 阈值； 基于所述存 储阈值， 分析每一层的存 储需求是否超出存 储阈值； 对于没有超出阈值的层， 其特 征图无需拆分； 对于超出阈值的层， 按照存 储阈值和存 储需求的比例确定特 征图被拆分的块。 4.如权利要求2所述的方法， 其特征在于， 所述操作统一方法中， 全连接操作和卷积操 作的统一 通过将全连接操作替换为卷积 操作实现， 具体包括以下步骤： 确定自定义的权 重尺寸； 将全连接操作的一维输入向量重构为三维输入 张量， 保证输入 张量的尺寸等于自定义 的权重尺寸； 将全连接操作的二位权重矩阵重构为 四维权重张量， 保证权重张量的尺寸等于自定义 的权重尺寸； 输入张量和权 重张量进行 卷积， 得到与原全连接结果完全一 致的卷积结果。 5.如权利要求1 ‑4中任一所述的方法， 其特征在于， 所述硬件加速设备包含针对神经网 络中各种通用运 算层的加速模块， 以及对应的配置系统。 6.如权利要求5所述的方法， 其特 征在于， 所述自定义硬件指令集中的指令包括： 配置指令， 用于向所述硬件加速设备传送配置信息； 数据搬移指令， 用于控制硬件加速设备的处 理引擎与片外存 储的交互； 握手指令， 用于标志配置阶段， 数据传输阶段和计算阶段的开始和结束； 所述指令包含32位二进制码， 前8位作为指令的标识头， 其中， 数据搬移指令为多级指 令。 7.如权利要求1所述的方法， 其特征在于， 所述神经网络编译设备包括前端解析模块， 功能通道， 内存分配模块和指令生成模块， 其中：权　利　要　求　书 1/2 页 2 CN 115186796 A 2前端解析模块， 将输入的神经网络模型转 化为固定格式的数据结构； 内存分配模块 为网络中的数据分配内存地址； 功能通道， 用于按照所述优化方法对所述数据结构进行优化， 并使优化后得到的数据 结构与所述硬件加速设备的架构相对应； 指令生成模块实现编译结果到所述硬件指令集的映射。 8.一种神经网络动态切分方法， 其特 征在于， 包括以下步骤： 分析神经网络 中每一层的特征图存储需求， 得出大部分层可以完整存储特征图的存储 阈值； 基于所述存 储阈值， 分析每一层的存 储需求是否超出存 储阈值； 对于没有超出阈值的层， 其特 征图无需拆分； 对于超出阈值的层， 按照存 储阈值和存 储需求的比例确定特 征图被拆分的块。 9.一种基于FPGA的卷积神经网络自动部署设备， 其特 征在于， 包括： 基于FPGA的、 可配置、 通用化硬件加速设备， 包含针对神经网络中各种通用运算层的加 速模块， 以及对应的配置系统； 神经网络编译设备， 用于对各种特定卷积神经网络模型进行面向硬件的优化处理， 并 将优化后得到的数据结构转化为自定义硬件指 令， 所述指 令用于对所述硬件加速设备进 行 配置， 实现不同网络模型在所述硬件加速设备 上的自动部署。 10.如权利要求9所述的部署设备， 其特 征在于， 所述自定义硬件指令包括： 配置指令， 用于向所述硬件加速设备传送配置信息； 数据搬移指令， 用于控制硬件加速设备的处 理引擎与片外存 储的交互； 握手指令， 用于标志配置阶段， 数据传输阶段和计算阶段的开始和结束； 所述指令包含32位二进制码， 前8位作为指令的标识头， 其中， 数据搬移指令为多级指 令。 11.如权利要求9或10所述的部署设备， 其特征在于， 所述神经网络编译设备包括前端 解析模块， 功能通道， 内存分配模块和指令生成模块， 其中： 前端解析模块， 将输入的神经网络模型转 化为固定格式的数据结构； 内存分配模块 为网络中的数据分配内存地址； 功能通道对所述数据 结构进行所述面向硬件的优化处理， 并使优化后得到的数据 结构 与所述硬件加速设备的架构相对应； 指令生成模块实现编译结果到所述硬件指令集的映射。权　利　要　求　书 2/2 页 3 CN 115186796 A 3