(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210568496.7 (22)申请日 2022.05.24 (71)申请人 成都臻识科技发展 有限公司 地址 610041 四川省成 都市高新区府 城大 道西段39 9号6栋1单元8层1号 (72)发明人 阚欣　周卓立　任鹏　 (74)专利代理 机构 成都九鼎天元知识产权代理 有限公司 51214 专利代理师 刘世权 (51)Int.Cl. G06T 7/246(2017.01) G06T 7/73(2017.01) G06V 20/54(2022.01) G06V 40/10(2022.01) G06V 10/62(2022.01)G06V 10/764(2022.01) G06V 10/774(2022.01) (54)发明名称 目标运动状态 识别方法、 装置、 设备及 介质 (57)摘要 本发明公开了目标运动状态识别方法、 装 置、 设备及介质。 本发明以网络流离线跟踪算法 的基本思想为骨架， 提供一种全新的基于深度学 习的图片流行人运动状态识别方法， 能够针对违 法审核场景的图片流给出效果好且适应场景的 行人跟踪结果， 比直接套用在线/离线跟踪的传 统方法效果提升很多， 并提供传统方法不容易直 接得出的最终行 人运动状态信息 。 权利要求书2页 说明书10页 附图4页 CN 114882074 A 2022.08.09 CN 114882074 A 1.一种目标运动状态 识别方法， 其特 征在于， 所述方法包括： 获取不同场景 下行人违反交通法规的图片； 对所述图片标注行人检测框、 行人id和行人身体姿势朝向， 并训练行人检测器、 行人 reid模型、 行 人朝向分类模型； 对于任意一组行人违反交通法规的图片， 用所述行人检测器检测出每张图片中的行 人， 对检测出的每个行人的边框通过行人reid模型提取特征信息， 并用行人朝向分类模型 得到一个m维的总和为 1的概率分布， 取所述概率分布中打分最高的一 维作为行人的边框朝 向； 建立网络流的起点和终点， 再依次按时间顺序对每张图的行人边框信 息建立所述网络 流的有向图的节点和边， 所述 边包括对应的权值； 根据所述有向图的节点数得出所述网络流的最大可 能flow和最小可 能flow， 并根据所 述最大可能flow和所述最小可能fl ow获得所述网络流的最优解； 根据所述网络流的最优解检测出的行 人运动状态。 2.如权利要求1所述的目标运动状态识别方法， 其特征在于， 所述建立网络流的起点和 终点， 再依 次按时间顺序对每张图的行人边框信息建立所述网络流的有向图的节点和边， 所述边包括对应的权值具体包括以下步骤： 根据任一帧对应的图片的任意行人边框box_k， 得到所述行人检测器的检测器打分 score_k、 所述行人reid模 型提取的行人特征f_k和所述行人朝向分类模 型检测的行人朝向 r_k； 计算enter边和exit边的分数， 根据box_k的位置和大小在原图里的相对比例和行人朝 向r_k计算行 人初入场概 率p_enter和行 人离场概 率p_exit； 计算observation边 的分数， 根据固定误检概率p_f和检测器打分score_k优化误检边 框概率p_ob； 计算transition边的分数， 根据当前帧行人的当前帧特征 f_k和当前帧的行人朝向r_k 与行人后面帧的后面帧特征f_j和行人朝向r_j计算当前帧行人和后面 帧行人属于同一个 id的概率p_trans； 计算边的权值， 根据行人初入场概率p_enter、 行人离场概率p_exit、 误检边框概率p_ ob和当前帧行人和后面帧行人属于同一个id的概率p_trans计算有向图的enter边、 exit 边、 observati on边和transition边的权值。 3.如权利要求2所述的目标运动状态识别方法， 其特征在于， 所述计算enter边和exit 边的分数 具体包括： 根据box_k的位置和大小在原图里的相对比例和行人朝向r_k， 基于靠边物体初入场概 率比处于中间的物体大和背朝图边界的物体比面朝图边界的物体初入场的概率大， 计算 enter边的分数p_enter； 根据box_k的位置和大小在原图里的相对比例和行人朝向r_k， 基于靠边物体离场概率 比处于中间的物体大和面朝图边界的物体比背朝图边界的物体离场的概率大， 计算exit 边 的分数p_exit。 4.如权利要求2所述的目标运动状态识别方法， 其特征在于， 所述计算observation边 的分数包括 根据固定误检概 率p_f和所述检测器打 分score_k计算 observati on边的分数。权　利　要　求　书 1/2 页 2 CN 114882074 A 25.如权利 要求2所述的目标运动 状态识别方法， 其特征在于， 所述计算transition边的 分数具体包括： 根据box_k的位置和另一帧的行 人边框box_j计算 边框位移； 计算所述box_k和所述box_j的位置变化速度和尺寸变化速度； 根据所述 位置变化速度和所述尺寸变化速度为t ransition边打分； 其中， 位置变化速度的计算具体包括： 将所述边框位移尺寸归一化并除以所述box_k与所述box_j的帧间隔得到位置变化的 速度； 尺寸变化速度的计算具体包括： 对所述box_k和所述box_j的面积之比开 根号； 根据预设阈值归一化或置零后除以所述box_k与所述box_j的帧间隔得到尺寸变化速 度。 6.如权利要求2所述的目标运动状态识别方法， 其特征在于， 所述计算边的权值具体包 括： 根据enter边、 exit边、 observation边和transition边的分数， 取对数作为各个边的权 值。 7.如权利要求2 ‑6任一所述的目标运动状态识别方法， 其特征在于， 所述方法还包括将 enter边、 exit边、 observati on边和transition边的权值均乘以一个大 数并取整。 8.一种目标运动状态 识别装置， 其特 征在于， 所述装置包括： 图像获取模块， 用于获取不同场景 下行人违反交通法规的图片； 标注训练模块， 用于对所述图片标注行人检测框、 行人id和行人身体姿势朝向， 并训练 行人检测器、 行 人reid模型、 行 人朝向分类模型； 特征检测模块， 用于对于任意一组行人违反交通法规的图片， 用所述行人检测器检测 出每张图片中的行人， 对检测出的每个行人的边框通过行人reid模型提取特征信息， 并用 行人朝向分类模型得到一个m维的总和为 1的概率分布， 取所述概率分布中打分最高的一 维 作为行人的边框朝向； 网络流建立模块， 用于建立网络流的起点和终点， 再依次按时间顺序对每张图的行人 边框信息建立所述网络流的有向图的节点和边， 所述 边包括对应的权值； 网络流最优解获取模块， 用于根据所述有向图的节点数得出所述网络流的最大可能 flow和最小可能flow， 并根据所述最大可能flow和所述最小可能flow获得所述网络流的最 优解； 运动状态 识别模块， 用于根据所述网络流的最优解检测出的行 人运动状态。 9.一种计算机设备， 其特征在于， 所述计算机设备包括处理器和存储器， 所述存储器中 存储有计算机程序， 所述计算机程序由所述处理器加载并执行以实现如权利要求1至7任一 项所述的目标运动状态 识别方法。 10.一种计算机可读存储介质， 其特征在于， 所述存储介质中存储有计算机程序， 所述 计算机程序由处理器加载并执行以实现如权利要求1至7任一项所述的目标运动状态识别 方法。权　利　要　求　书 2/2 页 3 CN 114882074 A 3