(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211251907.6 (22)申请日 2022.10.13 (71)申请人 上海工业控制安全创新科技有限公 司 地址 200333 上海市普陀区云岭西路6 00弄 6号901室 (72)发明人 黄怿豪　郭青　缪炜恺　刘杨　 蒲戈光　 (74)专利代理 机构 上海领匠知识产权代理有限 公司 31404 专利代理师 刘国华 (51)Int.Cl. G06T 11/60(2006.01) G06T 5/00(2006.01) G06V 10/80(2022.01)G06V 10/40(2022.01) G06V 10/82(2022.01) (54)发明名称 基于混淆圆预测的图像虚化生成装置及方 法 (57)摘要 本发明涉及一种基于混淆圆预测的图像虚 化生成装置及方法。 该图像虚化生成装置， 包括： 图像读取转换模块， 用于读取原始全聚焦图像的 RGB图像， 对该 RGB图像进行下采样和格式转换得 到待处理图像； 图像特征提取模块， 用于对待处 理图像进行特征提取得到m个图像特征； 模糊模 板生成模块， 用于对图像特征进行卷积操作生成 滤波核组， 根据每个滤波核组对待处理图像进行 滤波得到m个下采样模糊模板， 并对每个下采样 模糊模板进行上采样得到m个上采样模糊模板； 融合权重生成模块， 用于根据所有图像特征以及 对应的上采样 模糊模板生 成融合权重图； 以及模 板加权融合模块， 用于对原始全聚焦图像、 所有 上采样模糊模板及融合权重图进行加权融合得 到虚化图像 。 权利要求书2页 说明书7页 附图3页 CN 115423902 A 2022.12.02 CN 115423902 A 1.一种基于混淆圆预测的图像虚化 生成装置， 其特 征在于， 包括： 图像读取转换模块， 用于读取原始全聚焦图像的RGB图像， 对该RGB图像进行下采样处 理得到符合网络输入分辨率要求的输入图像， 并对该输入图像进 行格式转换处理得到预设 格式的图像作为待处 理图像； 图像特征提取模块， 用于通过神经网络对所述待处理图像进行特征提取处理得到不同 分辨率大小的m个图像特 征； 模糊模板生成模块， 用于对所述图像特征进行卷积操作生成包括具有预设边长且与 该 图像特征的像素数目相等数目的滤波核的滤波核组， 根据每个所述滤波核组对所述待处理 图像分别进行滤波处理得到相同分辨率大小的m个作为下采样模糊 模板的模糊 模板， 并对 每个所述下采样模糊模板进行上采样处理得到与所述原始全聚焦图像相同大小的m个作为 上采样模糊模板的模糊模板； 融合权重生成模块， 用于根据 所有所述图像特征以及对应的所述上采样模糊模板生成 对所有所述上采样模糊模板进 行融合且与所述上采样模糊模板相同分辨率的融合权重图； 以及 模板加权融合模块， 用于对所述原始全聚焦图像、 所有所述上采样模糊模板以及所述 融合权重图进行加权融合处 理得到最终输出的虚化图像， 所述m为不小于2的正整数。 2.根据权利要求1所述的基于混淆圆预测的图像虚化 生成装置， 其特 征在于： 其中， 所述图像特征提取模块包含不同深度的m个基础模块单元， 以及特征保留单元、 图像放大 单元和信息 跳跃传递单 元， 所述m个基础模块单元用于分别从不同深度抽取所述待处理图像的特征作为初始图像 特征， 并保留所述待处 理图像中每 个像素的信息， 所述特征保留单元用于对每个所述初始图像特征进行浓缩处理得到保留了主要特征 的浓缩图像特 征， 所述图像放大 单元用于将每 个所述浓 缩图像特 征进行放大 得到所述m个图像特 征， 所述信息跳跃传递单元用于连通不同深度的所述基础模块单元， 并将编码器中的浅层 基础模块单元收集的信息直接传递给分辨率相同的对应的解码器中的深层基础 模块单元， 以补充所述初始图像特 征在浓缩处理时的信息缺失。 3.根据权利要求2所述的基于混淆圆预测的图像虚化 生成装置， 其特 征在于： 其中， 所述基础模块单元含有多组处理层， 每组处理层由卷积层、 实例归一化层以及线 性整流层构成， 所述卷积层用于用卷积核从不同角度提取图像的特 征， 所述实例归一化层用于对所述卷积层提取的特征进行实例归一化处理得到实例归一 化特征， 所述线性整流层作为激活函数， 用于对所述实例归一化特征中不需要的信 息进行过滤 处理得到所述初始图像特 征。 4.根据权利要求1所述的基于混淆圆预测的图像虚化 生成装置， 其特 征在于： 其中， 所述融合权重生成模块包含特征处理采集单元、 信息过滤单元以及权重限制单 元，权　利　要　求　书 1/2 页 2 CN 115423902 A 2所述特征处理采集单 元用于对所述图像特 征进行卷积处理， 所述信息过 滤单元用于对卷积处 理后的所述图像特 征中不需要的信息进行 过滤处理， 所述权重限制单元用于根据过滤后的所述图像特征以及对应的所述上采样模糊模板 生成每个值在[‑1， 1]范围内的所述融合权 重图。 5.根据权利要求1所述的基于混淆圆预测的图像虚化 生成装置， 其特 征在于： 其中， 所述模板加权融合模块先对所有所述上采样模糊模板以及所述融合权重图进行 哈达玛乘积并相加， 再加上 所述原始全聚焦图像， 从而得到所述虚化图像。 6.根据权利要求1所述的基于混淆圆预测的图像虚化 生成装置， 其特 征在于： 其中， 所述原 始全聚焦图像的格式为PNG格式、 JPEG格式或BMP格式， 所述预设格式为Tensor格式。 7.根据权利要求1所述的基于混淆圆预测的图像虚化 生成装置， 其特 征在于： 其中， 所述预设边长为1 ‑15。 8.一种基于混淆圆预测的图像虚化 生成方法， 其特 征在于， 包括以下步骤： 步骤S1， 读取原始全聚焦图像的RGB图像， 对该RGB图像进行下采样处理得到符合网络 输入分辨率要求的输入图像， 并对该输入图像进 行格式转换处理得到预设格式的图像作为 待处理图像； 步骤S2， 通过神经网络对所述待处理图像进行特征提取处理得到不同分辨率大小的m 个图像特 征； 步骤S3， 对所述图像特征进行卷积操作生成包括具有预设边长且与该图像特征的像素 数目相等数目的滤波核的滤波核组， 根据每个所述滤波核组对所述待处理图像分别进 行滤 波处理得到相同分辨率大小的m个作为下采样模糊 模板的模糊模板， 并对每个所述下采样 模糊模板进行上采样处理得到与所述原始全聚焦图像相同大小的m个作为上采样模糊模板 的模糊模板； 步骤S4， 根据 所有所述图像特征以及对应的所述上采样模糊模板生成对所有所述上采 样模糊模板进行融合且与所述上采样模糊模板相同分辨 率的融合权 重图； 步骤S5， 对所述原始全聚焦图像、 所有所述上采样模糊模板、 以及所述融合权重图进行 加权融合处 理得到最终输出的虚化图像， 所述m分别为不小于2的正整数。 9.根据权利要求8所述的基于混淆圆预测的图像虚化 生成方法， 其特 征在于： 其中， 所述 步骤S5具体为： 先对所有所述上采样模糊模板及对应的所述融合权重图进行哈达玛乘积并相加， 再加 上所述原始全聚焦图像， 从而得到所述虚化图像。 10.根据权利要求8所述的基于混淆圆预测的图像虚化 生成方法， 其特 征在于： 其中， 所述原 始全聚焦图像的格式为PNG格式、 JPEG格式或BMP格式， 所述预设格式为Tensor格式。权　利　要　求　书 2/2 页 3 CN 115423902 A 3