(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211338132.6 (22)申请日 2022.10.28 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦二层 (72)发明人 梁柏荣　周航　徐志良　何栋梁　 刘经拓　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 张润 (51)Int.Cl. G06T 13/40(2011.01) G06T 19/20(2011.01) G06V 40/16(2022.01) (54)发明名称 虚拟人物表情的驱动方法、 装置、 电子设备 和存储介质 (57)摘要 本申请公开了虚拟人物表情的驱动方法、 装 置、 电子设备和存储介质， 涉及人工智 能技术领 域， 具体为增强现实、 虚拟现实、 计算机视觉、 深 度学习等技术领域， 可应用于元宇宙、 虚拟数字 人等场景。 具体方案为： 获取人脸图像， 并将人脸 图像输入到三维人脸模型中， 得到人脸图像对应 的第一人脸状态向量； 将第一人脸状态向量输入 到系数映射模 型， 得到人脸图像的多个第一混合 变形分别对应的系数； 根据多个第一混合变形分 别对应的系数， 确定虚拟人物的多个第二混合变 形分别对应的系数； 根据多个第二混合变形分别 对应的系数， 对虚拟人物的表情进行驱动。 该方 法提高了表情捕捉的准确性， 提高了对虚拟人物 表情驱动的准确性， 及提高了虚拟人物的表现 力。 权利要求书4页 说明书12页 附图3页 CN 115393488 A 2022.11.25 CN 115393488 A 1.一种虚拟人物 表情的驱动方法， 包括： 获取人脸图像， 并将所述人脸图像输入到三维人脸模型中， 以得到所述人脸图像对应 的第一人脸状态向量； 将所述第一人脸状态向量输入到系数映射模型中， 以得到所述人脸图像对应的多个第 一混合变形分别对应的系数， 其中， 所述第一混合变形 是指用于组成人脸表情的三维模型； 根据所述多个第 一混合变形分别对应的系数， 确定虚拟人物的多个第 二混合变形分别 对应的系数， 其中， 所述第二混合变形 是指用于组成所述虚拟人物 表情的三维模型； 根据所述多个第二混合变形分别对应的系数， 对所述虚拟人物的表情进行驱动。 2.如权利要求1所述的方法， 其中， 所述根据所述多个第一混合变形分别对应的系数， 确定虚拟人物的多个第二混合变形分别对应的系数， 包括： 获取所述多个第一混合变形与所述多个第二混合变形之间的对应关系； 根据所述对应关系， 确定所述多个第 二混合变形中与每个所述第 一混合变形关联的第 二混合变形； 根据每个所述第一混合变形的系数， 确定所述关联的第二混合变形的系数。 3.如权利要求1所述的方法， 其中， 所述根据所述多个第一混合变形分别对应的系数， 确定虚拟人物的多个第二混合变形分别对应的系数， 包括： 根据所述多个第 一混合变形的语义及所述多个第 二混合变形的语义， 确定所述多个第 二混合变形中与每 个所述第一混合变形关联的第二混合变形； 根据每个所述第一混合变形的系数， 确定所述关联的第二混合变形的系数。 4.如权利要求3所述的方法， 其中， 所述根据 所述多个第 一混合变形的语义及所述多个 第二混合变形的语义， 确定所述多个第二混合变形中与每个所述第一混合变形关联的第二 混合变形， 包括： 根据所述多个第 一混合变形的语义及所述多个第 二混合变形的语义， 确定每个所述第 一混合变形分别与所述多个第二混合变形之间的语义匹配度； 根据每个所述第 一混合变形对应的多个语义匹配度， 确定与每个所述第 一混合变形关 联的第二混合变形。 5.如权利要求3所述的方法， 其中， 所述根据 所述多个第 一混合变形的语义及所述多个 第二混合变形的语义， 确定所述多个第二混合变形中与每个所述第一混合变形关联的第二 混合变形， 包括： 根据每个所述第一混合变形的语义， 确定每 个所述第一混合变形关联的人脸区域； 根据每个所述第二混合变形的语义， 确定每 个所述第二混合变形关联的人脸区域； 将每个所述第一混合变形关联的人脸区域分别与所述多个第二混合变形关联的人脸 区域进行比对； 将所述多个第二混合变形中与每个所述第一混合变形关联的人脸区域相同的第二混 合变形， 确定为所述关联的第二混合变形。 6.如权利要求2 ‑5任一项所述的方法， 其中， 所述根据每个所述第一混合变形的系数， 确定所述关联的第二混合变形的系数， 包括： 获取每个所述第一混合变形对应的系数映射 规则； 根据所述系数映射规则及每个所述第 一混合变形的系数， 确定所述关联的第 二混合变权　利　要　求　书 1/4 页 2 CN 115393488 A 2形的系数。 7.如权利要求2 ‑5任一项所述的方法， 其中， 所述根据每个所述第一混合变形的系数， 确定所述关联的第二混合变形的系数， 包括： 获取每个所述第二混合变形的系数调整规则； 将每个所述第一混合变形的系数， 确定为所述关联的第二混合变形的初始系数； 根据所述关联的第 二混合变形的系数调 整规则， 对所述关联的第 二混合变形的初始系 数进行调整， 以确定所述关联的第二混合变形的系数。 8.如权利要求1所述的方法， 其中， 所述系数映射模型通过以下步骤训练得到： 获取人脸样本图像及所述人脸样本图像对应的所述多个第一混合变形分别对应的标 注系数； 将所述人脸样本图像输入到所述三维人脸模型中， 得到所述人脸样本图像对应的第 二 人脸状态向量； 将所述第二人脸状态向量输入到初始系数映射模型中， 以得到所述人脸样本图像对应 的所述多个第一混合变形分别对应的预测系数； 根据所述预测系数与所述标注系数之间的差异， 对所述初始系数映射模型进行训练， 以得到所述系数映射模型。 9.如权利要求8所述的方法， 其中， 所述将所述人脸图像输入到所述三维人脸模型中， 得到所述人脸样本图像对应的第二人脸状态向量， 包括： 对所述人脸样本图像中各像素点的像素值进行归一化处理， 得到归一化后的人脸样本 图像； 将所述归一化后的人脸样本图像输入到所述三维人脸模型中， 以得到所述第 二人脸状 态向量。 10.如权利要求8所述的方法， 其中， 所述获取 人脸样本图像， 包括： 获取多个样本视频， 并对每个所述样本视频进行抽帧， 以获取每个所述样本视频的多 帧图像； 对所述多帧图像中的每帧图像进行人脸关键点检测， 以得到所述每帧图像中的人脸关 键点； 根据所述每帧图像中的人脸关键点， 对所述每帧图像进行剪裁处理， 以得到所述每帧 图像中的人脸区域图像； 将所述人脸区域图像调整为预设大小， 以得到所述人脸样本图像。 11.如权利要求1所述的方法， 其中， 所述根据 所述多个第 二混合变形分别对应的系数， 对所述虚拟人物的表情进行驱动， 包括： 根据所述多个第二混合变形分别对应的系数， 对所述多个第二混合变形进行加权组 合， 以驱动所述虚拟人物的表情。 12.一种虚拟人物 表情的驱动装置， 包括： 第一获取模块， 用于获取人脸图像， 并将所述人脸图像输入到三维人脸模型中， 以得到 所述人脸图像对应的第一人脸状态向量； 第二获取模块， 用于将所述第一人脸状态向量输入到系数映射模型中， 以得到所述人 脸图像对应的多个第一混合变形分别对应的系 数， 其中， 所述第一混合变形是指用于组成权　利　要　求　书 2/4 页 3 CN 115393488 A 3