(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210624365.6 (22)申请日 2022.06.02 (71)申请人 沈阳航空航天大 学 地址 110136 辽宁省沈阳市道义经济开发 区道义南大街37号 (72)发明人 刘芳　石祥滨　毕静　张德园　 刘翠微　张子阳　 (74)专利代理 机构 沈阳维特专利商标事务所 (普通合伙) 21229 专利代理师 张倩怡 (51)Int.Cl. G06V 40/20(2022.01) G06T 17/00(2006.01) G06N 3/04(2006.01) G06K 9/62(2022.01)G06T 7/20(2017.01) G06T 7/73(2017.01) G06V 10/22(2022.01) G06V 10/40(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 基于边感知 的多关系GCNs骨架动作识别方 法 (57)摘要 本发明提供了一种基于边感知的多关系 GCNs骨架动作识别方法， 包括： 获取人体骨架数 据； 构建双流网络进行人体的动作识别； 网络输 入数据， 对人体骨架数据进行变换， 构建关节点 图获取关节点 ‑肢体运动数据， 构建肢体图获取 肢体‑三阶运动数据输入双流网络中； 采用动态 边感知模块DEP 对关节点图和肢体图中边的特征 进行感知运算， 获取边的感知权重； 提取运动特 征， 通过邻域范围为k ‑hops的图卷积函数 获取各 个图结点的运动特征， 加权平均获得当前层不同 关系下的图结点运动特征； 多次重复执行获取边 的感知权重和提取运动特征， 获得每一流的最终 结点运动特征并获取动作识别结果。 扩大了结点 的感知范围， 能够有效提高人体动作识别准确 率。 权利要求书3页 说明书7页 附图1页 CN 114842558 A 2022.08.02 CN 114842558 A 1.一种基于边感知的多关系GCNs骨架动作识别方法， 其特征在于， 所述多关系GCNs骨 架动作识别方法包括： 获取人体骨架数据， 通过普通摄像头或者深度摄像头获取运动过程中的人体骨架数 据； 构建双流网络， 所述双流网络包括低阶流网络和高阶流网络， 每一流均包括9个相同的 多关系图卷积层和一个softmax分类函数， 进行 人体的动作识别； 网络输入数据， 对所述人体骨架数据进行变换， 构建关节点图获取关节点 ‑肢体运动数 据输入所述低阶流网络， 构建肢体图获取二阶肢体数据 ‑三阶运动数据输入高阶流网络中； 获取边的感知权重， 在每一个所述多关系图卷积层中， 首先采用动态边感知模块DEP对 所述关节点图和所述肢体图中边的特 征进行感知运 算， 获取边的感知权 重； 提取运动特征， 将上一卷积层输出的所述关节点图、 所述肢体图的特征和对应所述边 的感知权重分别输入到邻域范围为k ‑hops的图卷积函数中提取所述关节点图和所述肢体 图中各个图结点的运动特征， 采用不同hop 描述运动过程中人体部位之 间的不同交互关系， 加权平均获得当前层不同关系下的所述图结点 运动特征； 获取动作识别结果， 多次重复执行获取边的感知权重和提取运动特征， 获得每一流的 最终结点运动特征， 将所述结点运动特征送入softmax分类函数中获得动作类别得分， 为每 一流赋权重， 并按权重融合所述低阶流网络和所述高阶流网络的得分得到动作识别结果， 权重通过实验获得， 通常取相同值。 2.根据权利要求1所述的基于边感知的多关系GCNs骨架动作识别方法， 其特征在于， 所 述获取人体骨架数据包括： 采用深度摄像头直接获取人体骨架数据或者将所述普通摄像头获取的图片和视频通 过姿态估计算法提取 人体骨架数据， 表示 为每个关节点的三维或二维坐标； 采用图G描述人体物 理结构图， 依据提取的所述人体骨架数据中所有的关节点， 定义所 述人体物理结构图为G＝(V,E,W)， 其中， V 为结点集， 表 示所有的关节点； E是边集合， 表 示相 邻关节点之间的肢体； W是边的带权邻接矩阵， 权值 通过学习获得。 3.根据权利要求2所述的基于边感知的多关系GCNs骨架动作识别方法， 其特征在于， 所 述姿态估计算法为 openpose。 4.根据权利要求2所述的基于边感知的多关系GCNs骨架动作识别方法， 其特征在于， 所 述构建双流网络包括低阶流网络和高阶流网络， 所述低阶流网络和所述高阶流网络的结构 相同， 每一流均包括9个结构相同的多关系图卷积层和一个softmax分类函数， 每个所述多 关系图卷积层 包含边感知模块DEP和多关系图卷积模块两部 分， 其中， 所述低阶流网络以关 节点‑肢体运动数据， 所述高阶流网络以所述二阶肢体数据 ‑三阶运动数据作为网络输入数 据。 5.根据权利要求4所述的基于边感知的多关系GCNs骨架动作识别方法， 其特征在于， 所 述网络输入数据包括： 按照所述人体物理结构图， 构建关节点图， 根据所述关节点坐标计算二阶肢体运动数 据， 取每条边两端的关节点的向量差， 以关节点 ‑肢体运动数据作为低阶流的输入， 输入所 述低阶流网络中； 按照所述人体物理结构图， 构建肢体图， 根据所述二阶肢体运动数据计算三阶运动数权　利　要　求　书 1/3 页 2 CN 114842558 A 2据， 以二阶肢体数据 ‑三阶运动数据作为高阶流的输入， 输入所述高阶流网络中。 6.根据权利要求5所述的基于边感知的多关系GCNs骨架动作识别方法， 其特征在于， 所 述获取边的感知权 重包括： 构造动态边感知模块DEP， 定义任意 一条边的特 征感知函数为θij＝P(fin(eij))； 其中， fin(eij)表示边eij的输入特征； P表示边特征感知操作， 采用卷积函数实现； i和j 分别为边eij两端结点的编号； 将所述关节点图或所述肢体图中的每一条边的输入特征依次输入到所在所述低阶流 网络或所述高阶流网络的当前所述多关系图卷积层的动态边感知模块DEP中， 获得对应边 的感知权 重。 7.根据权利要求6所述的基于边感知的多关系GCNs骨架动作识别方法， 其特征在于， 所 述提取运动特 征包括： 将所述人体物理结构图G中的结点vi的邻域B(vi)扩大到k ‑hops， 在k ‑hops范围内定义 每个结点的结构化邻接子图sGi， sGi为图G的子图， 定义vi为sGi的根结点， 并在sGi中引入结 点vi在所述人体物理结构图中的对称结点， 将所述对称结点表示 为0‑hop； 对任意结点vi， 在所述多关系图卷积模块中， 结点输出特征取该结点的邻接点特征的 和， 每个所述邻接点进 行卷积运算时， 取所述动态边 感知模块DEP的输出作为卷积 计算的权 重， 动态边感知模块DEP的输入为以结点vi和当前参与计算邻接点vj为端点的边， 其中， fin(vj)为结点vj在当前卷积层的输入特征， fout(vi)表示结点vi在当前卷积层的 输出特征， B(vi)表示节点vi在图G中的邻接点的集合， Zi是归一化项， 表示结点vi的邻接点 的数量； 采用Bi‑level邻接点特征 聚合方式， 根据所述邻接点特征的和获得根结点在当前层下 的运动特征， 其中， 所述邻接点特征的和包括先按同hop邻域内intr a‑hop的结点进行特征 聚合， 再按不同hop邻域间i nter‑hop进行结点特征聚合。 8.根据权利要求7所述的基于边感知的多关系GCNs骨架动作识别方法， 其特征在于， 所 述Bi‑level邻接点特 征聚合包括： intra‑hop聚合时， 对结点vi的d‑hops邻域， d∈{0,1,...,k}， 取邻域内所有邻接点的聚 合特征， 其中， Bd(vti)表示结点vi的d‑hops邻接点集合； 是归 一化项， 表示 这一邻域范围内邻接点的数量， k 值根据实际需求确定； inter‑hop聚合采用聚合函数 对不同hop之间的特征进行进一步聚合， 获得结点vi在 当前层的输出 其中， 表示d‑hops邻域特征的融合 权重， 采用注意力机制计算； σ 是激活函数； 其中， 函数 可以采用多种不同的运算符实现， 如向量加操作Add； 向量点乘操作Mult； Corr操作*: 具体计算方法为： n为特 征维数， u为移位 位数。权　利　要　求　书 2/3 页 3 CN 114842558 A 3