(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211310590.9 (22)申请日 2022.10.25 (71)申请人 科大讯飞股份有限公司 地址 230088 安徽省合肥市高新 开发区望 江西路666号 (72)发明人 吴小燕　何山　殷兵　刘聪　周良　 (74)专利代理 机构 北京布瑞知识产权代理有限 公司 11505 专利代理师 尚文文 (51)Int.Cl. G06T 13/40(2011.01) G06V 10/80(2022.01) G06V 20/40(2022.01) G06V 40/16(2022.01) G06V 40/18(2022.01)G10L 25/63(2013.01) (54)发明名称 虚拟形象的生成方法、 装置、 设备及存储介 质 (57)摘要 本申请提供了虚拟形象的生成方法、 装置、 设备及存储介质， 具体实现方案为： 基于获取到 的表达信息确定情绪特征以及脸部特征； 基于所 述情绪特征对 特定视频序列进行情绪编辑处理， 得到具有所述情绪特征的视频序列； 其中， 所述 特定视频序列， 包括特定对象的包含脸部的视频 序列； 至少基于具有所述情绪特征的视频序列以 及所述脸部特征， 生成目标对象的虚拟形象。 根 据本申请的技术方案， 能够 有效解决生成的虚拟 形象表达情绪单一的问题。 权利要求书2页 说明书11页 附图4页 CN 115375809 A 2022.11.22 CN 115375809 A 1.一种虚拟形象的生成方法， 其特 征在于， 包括： 基于获取到的表达信息确定情绪特 征以及脸部特 征； 基于所述情绪特征对特定视频序列进行情绪编 辑处理， 得到具有所述情绪特征的视频 序列； 其中， 所述特定 视频序列包括特定对象的包 含脸部的视频序列； 至少基于具有所述情绪特征的视频序列以及所述脸部特征， 生成目标对象的虚拟形 象。 2.根据权利要求1所述的方法， 其特征在于， 所述基于所述情绪特征对特定视频序列进 行情绪编辑处 理， 得到具有所述情绪特 征的视频序列， 包括： 对特定视频序列进行视频帧重建， 得到 重建视频编码； 通过对所述重建视频编码与 所述情绪特征进行融合处理， 得到具有所述情绪特征的视 频序列。 3.根据权利要求2所述的方法， 其特征在于， 所述对特定视频序列进行视频帧重建， 得 到重建视频编码， 并通过对所述重建视频编码与所述情绪特征进行融合处理， 得到具有所 述情绪特 征的视频序列， 包括： 将所述情绪特征输入预先训练 的脸部重建网络， 以使所述脸部重建网络对特定视频序 列进行视频帧重建， 得到重建视频编码， 并通过对所述重建视频编码与所述情绪特征进行 融合处理， 得到具有所述情绪特 征的视频序列； 其中， 所述脸部重建网络是通过基于所述特定对象的训练视频序列进行脸部重建训练 得到的， 所述训练视频序列包 含所述特定对象的具有不同情绪特 征的视频序列。 4.根据权利要求1所述的方法， 其特征在于， 在所述目标对象不是所述特定对象的情况 下， 所述至少基于具有所述情绪特征 的视频序列以及所述脸部特征， 生成目标对 象的虚拟 形象， 包括： 基于具有所述情绪特征的视频序列、 所述脸部特征， 以及所述目标对象的外貌特征， 生 成所述目标对象的虚拟形象。 5.根据权利要求4所述的方法， 其特征在于， 所述基于具有所述情绪特征的视频序列、 所述脸部特征， 以及目标对象的外 貌特征， 生成目标对象的虚拟形象， 包括： 基于所述目标对象脸部关键点的运动特征， 将所述脸部特征， 以及目标对象的外貌特 征， 融合到具有所述情绪特 征的视频序列中， 生成目标对象的虚拟形象。 6.根据权利要求1所述的方法， 其特征在于， 所述基于获取到的表达信 息确定情绪特征 以及脸部特 征， 包括： 确定所述表达信息中的信息特 征序列； 提取所述信息特 征序列中每 个信息特 征对应的情绪特 征以及脸部特 征。 7.根据权利要求6所述的方法， 其特征在于， 所述提取所述信 息特征序列中每个信 息特 征对应的情绪特 征以及脸部特 征， 包括： 确定所述信息特 征序列中每 个信息特 征对应的情绪特 征； 根据所述情绪特 征确定唇部特 征和眼部特 征。 8.根据权利要求6所述的方法， 其特征在于， 所述确定所述表达信息中的信息特征序 列； 提取所述信息特 征序列中每 个信息特 征对应的情绪特 征以及脸部特 征， 包括： 将所述表达信 息输入预先训练 的神经网络模型， 以使所述神经网络模型确定所述表达权　利　要　求　书 1/2 页 2 CN 115375809 A 2信息中的信息特征序列； 提取所述信息特征序列中每个信息特征对应的情绪特征以及脸部 特征。 9.一种虚拟形象的生成装置， 其特 征在于， 包括： 确定模块， 用于基于获取到的表达信息确定情绪特 征以及脸部特 征； 处理模块， 用于基于所述情绪特征对特定视频序列进行情绪编辑处理， 得到具有所述 情绪特征的视频序列； 其中， 所述特定 视频序列， 包括特定对象的包 含脸部的视频序列； 生成模块， 用于至少基于具有所述情绪特征的视频序列以及所述脸部特征， 生成目标 对象的虚拟形象。 10.一种电子设备， 其特 征在于， 包括： 存储器和处 理器； 所述存储器与所述处 理器连接， 用于存 储程序； 所述处理器， 通过运行所述存储器中的程序， 实现如权利要求1至8中任意一项虚拟形 象的生成方法。 11.一种存储介质， 其特征在于， 所述存储介质上存储有计算机程序， 所述计算机程度 被处理器运行时， 实现如权利要求1至8中任意 一项虚拟形象的生成方法。权　利　要　求　书 2/2 页 3 CN 115375809 A 3