(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210593871.3 (22)申请日 2022.05.27 (71)申请人 浙江大华 技术股份有限公司 地址 310053 浙江省杭州市滨江区滨安路 1187号 (72)发明人 赵梦娜　余言勋　王亚运　牛中彬　 (74)专利代理 机构 北京同达信恒知识产权代理 有限公司 1 1291 专利代理师 赵凯莉 (51)Int.Cl. G06T 7/73(2017.01) G06T 7/90(2017.01) G06T 15/08(2011.01) G06T 7/194(2017.01) G06T 5/20(2006.01)G06T 3/40(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/40(2022.01) G06V 10/82(2022.01) (54)发明名称 基于辐射场和生 成对抗的图像生 成方法、 装 置和存储介质 (57)摘要 本申请涉及一种基于辐射场和生成对抗的 图像生成方法、 装置和存储介质， 用于解决现有 技术中人工搜集车辆样本图片的效率较低， 速度 较慢的技术问题。 该方法包括： 获取初始图像， 将 初始图像输入至辐射场神经网络中提取初始图 像的特征信息， 并根据特征信息生成多个不同视 觉域或不同视角下的特征图像； 其中特征信息包 括所述初始 图像中每个像素点的位置信息和观 测所述初始图像的观测方向信息； 将特征图像输 入至上采样网络中进行上采样， 生成 并输出符合 预设分辨率的目标图像； 使用鉴别器判断上采样 图像是否为实像， 根据判断结果调整所述辐射场 神经网络生成的损失函数， 并通过损失函数约束 辐射场神经网络和上采样网络后续生成的目标 图像。 权利要求书2页 说明书13页 附图4页 CN 114842083 A 2022.08.02 CN 114842083 A 1.一种基于辐射场和生成对抗的图像生成方法， 其特 征在于， 包括： 获取初始图像， 将所述初始图像输入至辐射场神经网络中提取所述初始图像的特征信 息， 并根据所述特征信息生成多个不同视觉域或不同视角下 的特征图像； 其中所述特征信 息包括所述初始图像中每 个像素点的位置信息和观测所述初始图像的观测方向信息； 将所述特征图像输入至上采样网络中进行上采样， 生成并输出符合预设分辨率要求的 目标图像； 使用鉴别器判断所述目标图像是否为实像， 根据判断结果调 整所述辐射场神经网络的 损失函数， 并通过所述损失函数约束 所述辐射场神经网络和所述上采样网络后续生成的目 标图像。 2.如权利要求1所述的方法， 其特征在于， 根据所述特征信 息生成多个不同视觉域或不 同视角下的特 征图像， 包括： 从编码器或映射网络中获取域编码， 从所述特征信息中提取外观编码和形状编码， 将 所述域编码、 所述外观编码和形状编码作为条件编码输入至所述辐 射场神经网络中， 获得 受到所述条件编码约束的条件辐射场神经网络； 提取所述特征信 息中的位置数据和观测方向数据， 输入到所述条件辐射场神经网络中 进行预测， 获得和所述初始图像中各像素点在三 维空间中对应的体素的密度信息和颜色信 息； 将所述密度信息和所述颜色信息 输入体绘制算法中， 生成对应的特 征图像。 3.如权利要求2所述的方法， 其特 征在于， 从编码器或映射网络中获取域编码， 包括： 将所述初始图像输入到所述编码器中， 接收所述编码器提取出的所述初始图像在对应 的视觉域中的域编码； 或者， 将随机码输入到所述映射网络中， 通过所述映射网络获取所述 随机码映射的域编码； 其中所述随机码为随机生成的编码。 4.如权利要求2所述的方法， 其特征在于， 提取所述特征信 息中的位置数据和观测方向 数据， 输入到所述条件辐 射场神经网络中进行预测， 获得和所述初始图像中各像素点在三 维空间中对应的体素的密度信息和颜色信息， 包括： 将所述初始图像对应的场景划分为前景和背景， 将处于所述前景中的像素点对应的所 述位置数据和所述观测方向数据输入到前景网络进行预测， 生成和所述前景中的像素对应 的体素的前景密度信息和前景颜色信息； 其中， 所述前景网络为所述条件辐 射场神经网络 中用于处 理所述初始图像中前 景对应的位置数据和观测方向数据的部分； 将处于所述背景中的像素对应的所述位置数据和所述观测方向数据输入到背景网络 进行预测， 生成和所述背 景中的像素对应的体素的背 景密度信息和背 景颜色信息； 其中， 所 述背景网络为所述条件辐 射场神经网络中用于处理所述初始图像中背景对应的位置数据 和观测方向数据的部分， 所述背 景网络和所述前景网络使用不同的外观编 码和形状编 码作 为条件编码进行约束， 所述前景密度信息和所述背景密度信息均属于所述密度信息， 所述 前景颜色信息和所述背景颜色信息均属于所述颜色信息 。 5.如权利要求4所述的方法， 其特征在于， 将所述密度信 息和所述颜色信 息输入体绘制 算法中， 生成对应的特 征图像， 包括： 按照所述像素点对应的场景， 使用前景采样点或背景采样点对所述像素点进行采样； 其中所述前 景采样点和所述背景采样点的采样 深度不同；权　利　要　求　书 1/2 页 2 CN 114842083 A 2对在所述前景中的像素点按照所述前景采样点进行采样， 根据 所述前景密度信 息和前 景颜色信息计算所述前 景采样点对应的前 景颜色向量 集和前景密度向量 集； 对在所述背景中的像素点按照所述背景采样点进行采样， 根据 所述背景密度信 息和背 景颜色信息计算所述背景采样点对应的背 景颜色向量集和背 景密度向量集； 将所述前景颜 色向量集、 所述前景密度向量集、 所述背景颜色向量集和所述背景密度向量集映射至对应 的像素点上， 获得 所述对应的像素点的最终特 征向量； 将所述初始图像中所有像素点对应的最终特征向量输入至所述体绘制算法中进行计 算， 获得所述初始图像对应的特 征图像。 6.如权利要求1、 2或5所述的方法， 其特征在于， 将所述特征图像输入至上采样网络中 进行上采样， 生成并输出符合预设 分辨率要求的目标图像， 包括： 在所述上采样网络中对所述特 征图像进行 上采样， 增 加上采样后的图像的分辨 率； 当上采样后的图像的分辨率等于预设分辨率 时， 将所述上采样后的图像输出为所述目 标图像。 7.如权利要求1所述的方法， 其特征在于， 使用鉴别器判断所述上采样图像是否为实 像， 包括： 使用所述鉴别器提取所述上采样图像的上采样图像特征， 将所述上采样图像特征连接 至所有的视 觉域， 获得多维向量； 其中， 所述多维向量的维数和视 觉域的数量相同； 计算所述上采样图像对应的目标域值在所述多维向量中的对应值， 使用交叉熵损失判 断所述对应值是否为真值； 当所述对应值 为真值时所述上采样图像为实像； 反 之所述上采样图像不是实像。 8.一种基于辐射场和生成对抗的图像生成的装置， 其特 征在于， 包括： 辐射场单元， 用于获取初始图像， 将所述初始图像输入至辐射场神经网络中提取所述 初始图像的特征信息， 并根据所述特征信息生成多个不同视觉域或不同视角的特征图像； 其中所述特征信息包括所述初始图像中每个像素点的位置信息和观测所述初始图像的观 测方向信息； 上采样单元， 用于将所述特征图像输入至上采样网络中进行上采样， 生成并输出符合 预设分辨率要求的目标图像； 鉴别器单元， 用于判断所述上采样图像是否为实像， 根据判断结果调整所述辐射场神 经网络的损失函数， 并通过所述损失函数约束所述辐射场神经网络和所述上采样网络后续 生成的目标图像。 9.一种基于辐射场和生成对抗的图像生成的装置， 其特 征在于， 包括： 至少一个处 理器， 以及 与所述至少一个处 理器连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的指令， 所述至少一个处理器 通过执行所述存储器存储的指令， 执 行如权利要求1 ‑7任一项所述的方法。 10.一种可读存 储介质， 其特 征在于， 包括存 储器， 所述存储器用于存储指令， 当所述指令被处理器执行时， 使得包括所述可读存储介质 的装置完成如权利要求1 ‑7中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114842083 A 3