(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210983372.5 (22)申请日 2022.08.16 (71)申请人 支付宝 （杭州） 信息技 术有限公司 地址 310000 浙江省杭州市西湖区西溪路 556号8层B段801-1 1 (72)发明人 曹佳炯　丁菁汀　 (74)专利代理 机构 北京国昊天诚知识产权代理 有限公司 1 1315 专利代理师 付先智 (51)Int.Cl. G06Q 30/02(2012.01) G06V 40/18(2022.01) G06V 10/80(2022.01) G06K 9/62(2022.01) A61B 3/14(2006.01)A61B 5/16(2006.01) A61B 5/369(2021.01) (54)发明名称 虚拟世界的广告投放处 理方法及装置 (57)摘要 本说明书实施例提供了虚拟世界的广告投 放处理方法及装置， 其中， 一种虚拟世界的广告 投放处理方法包括： 将用户的脑电信号和眼部图 像输入情绪检测模型进行情绪检测处理， 获得多 模态情绪特征和至少一个情绪维度的情绪等级； 基于所述多模态情绪特征和所述情绪等级进行 虚拟世界的广告投放检测； 若检测通过， 计算候 选广告的广告数据与所述虚拟世界的虚拟环境 数据的匹配度； 基于所述匹配度在所述候选广告 中确定投放广告并进行投放处 理。 权利要求书3页 说明书11页 附图4页 CN 115358777 A 2022.11.18 CN 115358777 A 1.一种虚拟世界的广告投放处 理方法， 包括： 将用户的脑电信号和眼部图像输入情绪检测模型进行情绪检测处理， 获得多模态情绪 特征和至少一个情绪维度的情绪 等级； 基于所述多模态情绪特 征和所述情绪 等级进行虚拟世界的广告投放检测； 若检测通过， 计算 候选广告的广告数据与所述虚拟世界的虚拟环境数据的匹配度； 基于所述匹配度在所述 候选广告中确定投放广告并进行投放处 理。 2.根据权利要求1所述的虚拟世界的广告投放处理方法， 所述情绪检测模型包括： 第 一 网络、 第二网络和融合网络； 相应的， 所述情绪检测处 理， 包括： 将所述脑电信号输入所述第 一网络进行特征提取获得脑电信号特征， 以及将所述眼部 图像输入所述第二网络进行 特征提取获得眼部图像特 征； 将所述脑电信号特征和所述眼部图像特征输入所述融合网络进行特征处理， 获得所述 多模态情绪特 征和所述情绪 等级。 3.根据权利要求2所述的虚拟世界的广告投放处理方法， 所述融合网络进行的特征处 理， 包括： 对所述脑电信号特征和所述眼部图像特征进行特征融合， 将 获得的融合特征作为所述 多模态情绪特 征； 基于所述脑电信号特征和所述眼部图像特征进行所述至少一个情绪维度的情绪检测， 获得所述至少一个情绪维度的情绪 等级。 4.根据权利要求1所述的虚拟世界的广告投放处理方法， 所述基于所述多模态情绪特 征和所述情绪 等级进行虚拟世界的广告投放检测， 包括： 检测各情绪维度的情绪等级是否大于或者等于对应情绪维度的情绪等级阈值， 以及基 于所述多模态情绪特 征确定的广告投放 概率是否大于预设概 率阈值； 若是， 确定检测结果 为检测通过； 若否， 确定检测结果 为检测未通过。 5.根据权利要求4所述的虚拟世界的广告投放处理方法， 所述广告投放概率， 通过将所 述多模态情绪特 征输入投放检测模型进行广告投放 适配计算后获得； 其中， 所述广告投放适配计算， 包括基于所述多模态情绪特征计算在当前时间点进行 广告投放的适配度， 作为所述广告投放 概率。 6.根据权利要求1所述的虚拟世界的广告投放处理方法， 所述计算候选广告的广告数 据与所述虚拟世界的虚拟环境数据的匹配度， 包括： 对所述广告数据包含的关键 图像、 所述虚拟环境数据包含的环境图像进行特征提取， 获得广告关键特 征和虚拟环境特 征； 计算所述广告关键特 征与所述虚拟环境特 征的特征相似度， 作为所述匹配度。 7.根据权利要求6所述的虚拟世界的广告投放处理方法， 所述对所述广告数据包含的 关键图像、 所述虚拟环境数据包含的环境图像进行特征提取， 获得广告关键特征和虚拟环 境特征， 包括： 将所述关键图像输入特征提取模型进行特征提取获得所述广告关键特征， 以及将所述 环境图像输入所述特 征提取模型进行 特征提取获得 所述虚拟环境特 征。权　利　要　求　书 1/3 页 2 CN 115358777 A 28.根据权利要求7所述的虚拟世界的广告投放处理方法， 所述特征提取模型， 采用如下 方式训练获得： 将训练样本集中的正样本对和/或负样本对输入待训练 的用于进行特征提取的残差网 络进行特征提取， 并计算输出的样本特 征的特征相似度； 根据特征相似度计算训练损 失， 并基于训练损 失对所述残差网络进行参数调整， 在训 练完成后获得 所述特征提取模型。 9.根据权利要求8所述的虚拟世界的广告投放处理方法， 所述正样本对， 包括在同一虚 拟环境的图像集 合中进行采样获得的虚拟环境图像对； 所述负样本对， 包括在不同虚拟环境的图像集 合中进行采样获得的虚拟环境图像对。 10.根据权利要求9所述的虚拟世界的广告投放处理方法， 所述虚拟环境的图像集合， 采用如下 方式生成： 将对物理环境进行多视角图像采集获得的物理环境图像输入预先训练的神经辐射场 模型进行三 维图像重建， 将输出对应所述虚拟世界中三 维虚拟环境的图像作为所述虚拟环 境的图像集 合。 11.根据权利要求1所述的虚拟世界的广告投放处理方法， 所述基于所述匹配度在所述 候选广告中确定投放广告并进行投放处 理， 包括： 按照所述匹配度从高到低的排序顺序对所述候选广告进行排序， 并选择排序位次处于 前N位的候选广告； 从所述前N位的候选广告中随机选择一个候选广告作为所述投放广告， 并进行所述投 放广告的渲染输出。 12.根据权利要求1所述的虚拟世界的广告投放处理方法， 所述脑电信号， 通过所述虚 拟世界的接入设备集成的信号传感器进行采集； 所述眼部图像通过 所述接入设备集成的图像传感器进行采集。 13.根据权利要求1至12任意一项所述的虚拟世界的广告投放处理方法， 所述虚拟世界 中通过生成非同质化标识进行去中心化的交易， 通过交易占有虚拟资产的所有权； 其中， 所述 候选广告， 包括所述非同质化标识对应的虚拟资产的资产 广告。 14.一种虚拟世界的广告投放处 理装置， 包括： 情绪检测处理模块， 被配置为将用户的脑电信号和眼部图像输入情绪检测模型进行情 绪检测处 理， 获得多模态情绪特 征和至少一个情绪维度的情绪 等级； 广告投放检测模块， 被配置为基于所述多模态情绪特征和所述情绪等级进行虚拟世界 的广告投放检测； 匹配度计算模块， 被配置为若检测通过， 计算候选广告的广告数据与所述虚拟世界的 虚拟环境数据的匹配度； 投放处理模块， 被配置为基于所述匹配度在所述候选广告中确定投放广告 并进行投放 处理。 15.一种虚拟世界的广告投放处 理设备， 包括： 处理器； 以及， 被配置为存储计算机可执行指令的存储器， 所述计算机可执行指令在被 执行时使所述处 理器： 将用户的脑电信号和眼部图像输入情绪检测模型进行情绪检测处理， 获得多模态情绪权　利　要　求　书 2/3 页 3 CN 115358777 A 3