(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210570211.3 (22)申请日 2022.05.24 (71)申请人 东南大学 地址 210096 江苏省南京市玄武区四牌楼 2 号 (72)发明人 胡晓艳　宋晓怡　程光　吴桦　 (74)专利代理 机构 南京众联专利代理有限公司 32206 专利代理师 杜静静 (51)Int.Cl. H04N 21/2743(2011.01) H04N 21/234(2011.01) H04N 21/258(2011.01) H04N 21/254(2011.01) H04L 67/1097(2022.01)H04L 9/32(2006.01) G06N 20/00(2019.01) (54)发明名称 一种基于深度学习的联盟链场景下视频数 据上链有 害性审核方法 (57)摘要 本发明公开了一种基于深度学习的联盟链 场景下视频数据上链有害性审核方法， 具体步骤 包括： 系统管理员构建联盟链及私有IPFS网络， 并允许普通用户及监管机构中的各监管者分别 加入所述联盟链及IPFS网络； 普通用户可选提交 视频信息、 请求链上合法视频的授权以及响应收 到的视频授权等操作； 监管者获取IPFS网络上的 视频数据， 通过基于局部最大ECR值算法的 Deepfake检测模型来判断该视频的真实性， 并向 联盟链提交签名后的审核结果； 由链码最终保证 仅有合法的视频信息能够上链。 本发 明能够实现 联盟链网络内视频数据信息的内容安全性核查 与监管， 并解决虚假的视频信息在联盟链上扩散 传播的问题。 权利要求书2页 说明书7页 附图3页 CN 114979728 A 2022.08.30 CN 114979728 A 1.一种基于深度学习的联盟链场景下视频数据上链有害性审核方法， 其特征在于， 所 述方法包括如下步骤： (1)系统管理员构建联盟链及私有IPFS网络， 并允许普通用户及监管机构中的各监管 者分别加入所述联盟链及IPFS网络； (2)普通用户选提交视频信息、 请求链上合法视频的授权以及响应收到的视频授权操 作； (3)监管者获取IPFS网络上的视频数据， 通过基于局部最大ECR值算法的Deepfake检测 模型来判断该视频的真实性， 并向联盟链提交签名后的审核结果； (4)由链码最终保证仅有合法的视频信息能够上链。 2.根据权利要求1所述的一种基于深度学习的联盟链场景下视频数据 上链有害性审核 方法， 其特征在于， 步骤(1)中所述的联盟链网络及私有IPFS网络仅由已认证的普通用户及 监管机构加入， 该私有IPFS网络将用于存 储完整的视频 数据。 3.根据权利要求1所述的一种基于深度学习的联盟链场景下视频数据 上链有害性审核 方法， 其特征在于， 步骤(2)中所述的普通用户可执行的操作， 包括提交视频信息、 执行请求 链上合法视频的授权操作以及执 行响应收到的视频授权操作。 4.根据权利要求1所述的一种基于深度学习的联盟链场景下视频数据 上链有害性审核 方法， 其特征在于， 步骤(2)中所述的普通用户提交视频信息的操作限制普通用户发布原创 视频及二次剪辑视频共两类视频， 完整的视频数据将首先保存至所述IPFS 网络， 其返回的 IPFS地址及其 他相关信息将随后由普通用户提交至所述联盟链网络 。 5.根据权利要求1所述的一种基于深度学习的联盟链场景下视频数据 上链有害性审核 方法， 其特征在于， 步骤(2)中所述的普通用户执行请求链上合法视频的授权操作， 是指普 通用户首先从链上得到想要获得授权的视频 的具体信息， 随后根据链上 的视频信息， 向该 视频的作者发出授权请求， 相应的请求授权记录由该用户签名， 并存 储在链上。 6.根据权利要求1所述的一种基于深度学习的联盟链场景下视频数据 上链有害性审核 方法， 其特征在于， 步骤(2)中所述的普通用户执行响应 收到的视频授权操作， 是指普通用 户首先从链上得到想要获得授权的视频 的具体信息， 随后根据链上 的视频信息， 向该视频 的作者发出授权请求， 相应的请求授权记录由该用户签名， 并存 储在链上。 7.根据权利要求1所述的一种基于深度学习的联盟链场景下视频数据 上链有害性审核 方法， 其特 征在于， 所述 步骤(3)包括以下步骤： (3.1)监管者从所述 IPFS网络获取完整的视频 数据； (3.2)监管者调用基于局部最大ECR值算法的Deep fake检测模型来判断该视频的真实 性， 并获得 该视频的De epfake审核结果； (3.3)监管者使用自己的私钥对该审核结果签名， 并向联盟链提交签名后的审核结果。 8.根据权利要求7所述的基于深度 学习的联盟链场景下视频数据上链有害性审核的方 法， 其特征在于， 所述 步骤(3.2)具体包括以下子步骤： (3.2.1)根据完整的视频 数据， 计算视频 各帧的ECR值， 具体公式如下： 其中， ECRi表示为该帧的ECR值， i和i ‑1分别代表为视频的第i帧和第i ‑1帧， δi和 δi‑1分权　利　要　求　书 1/2 页 2 CN 114979728 A 2别为第i帧及相邻上一帧中的所有边缘像素值， 为第i帧中增加的边缘像素的数量， 为相邻上一帧消失的边 缘像素的数量； (3.2.2)设置窗口大小， 对该视频的所有ECR值进行平滑处理， 并选择具有最大差异的 ECR值的帧作为该视频的关键帧； (3.2.3)以MesoNet ‑4模型为基础执行D eepfake检测任务， 并在面部提取过程中使用局 部最大ECR值算法代替原有的随机帧选择策略， 使得从上述关键帧中提取的人脸能够更好 地用于后续De epfake检测任务； (3.2.4)通过执行(3.2.3)操作， 从视频中提取到的人脸图片的分类结果将构成一数 组， 对该数组进行均值计算， 如小于 0.5， 则认为是De epfake视频， 否则认为是真实视频。 9.根据权利要求1所述的一种基于深度学习的联盟链场景下视频数据 上链有害性审核 方法， 其特征在于， 步骤(4)所述的由链码最终保证仅有合法 的视频信息能够上链， 是指对 于拟上链的视频信息， 由链码根据视频类型分别审核并判断其有害性， 其中， 原创视频需要 审核其是否为Deepfake视频， 链码需要检索链上是否存在该视频的Deepfake审核结果， 如 其审核结果合法且为真实视频， 则予以上链， 其他情况则拒绝其上链请求； 二次剪辑视频需 要审核其是否经过有效的授权认证， 链码需要检索链上是否存在该视频的授权记录及响应 授权记录， 如其授权及响应授权记录合法且结果为同意授权， 则予以上链， 其他情况则拒绝 其上链请求。权　利　要　求　书 2/2 页 3 CN 114979728 A 3