(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210629461.X (22)申请日 2022.06.05 (71)申请人 东北石油大 学 地址 163318 黑龙江省大庆市高新区发展 路199号 (72)发明人 田枫　白欣宇　刘芳　路阳　 刘宗堡　张可佳　 (74)专利代理 机构 大庆知文知识产权代理有限 公司 231 15 专利代理师 李建华 (51)Int.Cl. G06T 7/246(2017.01) G06T 7/73(2017.01) (54)发明名称 目标跟踪的方法及装置、 电子 设备和存储介 质 (57)摘要 本公开涉及一种目标跟踪的方法及装置、 电 子设备和存储介质， 涉及目标跟踪与行为检测技 术领域。 所述的目标跟踪的方法， 包括： 获取待处 理视频图像中多时刻视频帧的多个感兴趣目标 对应的位置特征及外观特征； 根据所述多个感兴 趣目标对应的位置特征确定所述多个感兴趣目 标的第一遮挡关系； 并基于所述第一遮挡关系， 对所述多个感兴趣目标的位置特征及外观特征 进行特征融合， 得到初步的跟踪结果； 基于所述 第一遮挡关系及所述初步的跟踪结果确定最终 的目标跟踪结果。 本公开实施例可 实现视频图像 中多时刻视频帧的多个感兴趣目标的跟踪。 权利要求书2页 说明书28页 附图5页 CN 115035158 A 2022.09.09 CN 115035158 A 1.一种目标跟踪的方法， 其特 征在于， 包括： 获取待处 理视频图像中多时刻视频帧的多个感兴趣目标对应的位置特 征及外观特 征； 根据所述多个感兴趣目标对应的位置特征确定所述多个感兴趣目标的第 一遮挡关系； 并基于所述第一遮挡关系， 对所述多个感兴趣目标 的位置特征及外观特征进行特征融合， 得到初步的跟踪结果； 基于所述第一遮挡关系及所述初步的跟踪结果确定最终的目标跟踪结果。 2.根据权利要求1所述的方法， 其特征在于， 在所述获取待处理视频图像中多时刻视频 帧的多个感兴趣目标对应的位置特征及外观特征之前， 确定待处理视频图像中多时刻视频 帧的多个感兴趣目标对应的位置特 征及外观特 征， 其确定方法， 包括： 获取特征提取模型； 利用所述特征提取模型， 对待处理视频图像中多时刻视频帧的多个感兴趣目标进行特 征提取， 得到多个感兴趣目标对应的位置特 征及外观特 征。 3.根据权利要求2所述的方法， 其特征在于， 所述利用所述特征提取模型， 对待处理视 频图像中多时刻视频帧的多个感兴趣目标进 行特征提取， 得到多个 感兴趣目标对应的位置 特征及外观特 征的方法， 包括： 利用所述特征提取模型， 对待处理视频图像中多时刻视频帧的多个感兴趣目标进行特 征提取， 得到不同尺度的语义特 征及不同尺度的位置特 征； 对所述不同尺度的语义特征进行融合得到外观特征， 以及对所述不同尺度的位置特征 进行融合得到位置特 征。 4.根据权利要求1 ‑3任一项所述的方法， 其特征在于， 所述根据 所述多个感兴趣目标对 应的位置特 征确定所述多个感兴趣目标的第一遮挡关系的方法， 包括： 计算所述多个感兴趣目标对应的位置特 征之间的距离； 若所述多个感兴趣目标对应的位置特征之间的距离小于获取的设定距离， 则确定所述 多个感兴趣目标存在遮挡； 否则， 确定所述多个感兴趣目标不存在遮挡； 以及/或， 所述基于所述第 一遮挡关系， 对所述多个感兴趣目标的位置特征及外观特征进行特征 融合， 得到初步的跟踪结果的方法， 包括： 根据所述 位置特征计算感兴趣目标的轨 迹特征； 若存在第一遮挡关系， 则 计算所述多个感兴趣目标中的被遮挡的目标及遮挡的目标的 匹配点特 征； 对所述轨 迹特征、 所述匹配点特 征及外观特 征进行特征融合， 得到初步的跟踪结果。 5.根据权利要求4所述的方法， 其特征在于， 所述对所述轨迹特征、 所述匹配点特征及 外观特征进行特征融合， 得到初步的跟踪结果的方法， 包括： 分别计算多个感兴趣目标对应的轨 迹特征距离、 匹配点特 征距离及外观特 征距离； 对所述轨迹特征距离、 匹配点特征距离及外观特征距离进行轨迹特征距离、 匹配点特 征距离及外观特 征距离进行 特征融合， 得到初步的跟踪结果。 6.根据权利要求1 ‑5任一项所述的方法， 其特征在于， 所述基于所述第 一遮挡关系及所 述初步的跟踪结果确定最终的目标跟踪结果的方法， 包括： 确定目前检测的目标 是否为原有的所述多个感兴趣目标；权　利　要　求　书 1/2 页 2 CN 115035158 A 2若是， 判断目前检测的目标与其余的多个感兴趣目标是否满足所述第一遮挡关系； 若 满足， 根据所述第一遮挡关系对所述 目前检测的目标及其余的多个感兴趣目标进行匹配； 若匹配成功， 则保持所述目前检测的目标及其余的目前检测的目标对应的身份； 否则， 将所 述目前检测的目标及其 余的目前检测的目标对应的身份进行互换； 若不满足， 则根据所述目前检测的目标及其余的所述多个感兴趣目标确定第 二遮挡关 系； 根据所述第二遮挡关系对所述目前检测的目标及其余的所述多个感兴趣目标进行匹 配； 若匹配成功， 则将匹配成功的感兴趣目标对应的身份配置给所述目前检测的目标； 否 则， 保持所述目前检测的目标及其 余的目前检测的目标对应的身份； 若否， 配置所述目前检测的目标对应的身份， 以及根据所述目前检测的目标及所述多 个感兴趣目标确定第三遮挡关系； 根据所述第三遮挡关系对所述目前检测的目标及所述多 个感兴趣目标进行匹配； 若匹配成功， 则将匹配成功的感兴趣目标对应的身份配置给所述 目前检测的目标； 否则， 保持所述目前检测的目标及其 余的目前检测的目标对应的身份。 7.一种基于权利要求1 ‑5任一项所述目标跟踪的方法进行行为检测的方法， 其特征在 于， 包括： 提取获取的待处理视频图像中多时刻视频帧的跟踪目标对应的关节点信息序列及关 节点的运动速度信息序列； 分别对所述关节点信 息序列及运动速度信 息序列进行空间特征提取， 得到对应的第 一 空间特征及第二空间特征； 并对所述第一空间特征及所述第二空间特征进行特征融合， 得 到初始融合特 征； 基于所述初始融合特 征完成行为检测。 8.一种目标跟踪的装置， 其特 征在于， 包括： 获取单元， 用于获取待处理视频图像中多时刻视频帧的多个感兴趣目标对应的位置特 征及外观特 征； 确定单元， 用于根据 所述多个感兴趣目标对应的位置特征确定所述多个感兴趣目标的 第一遮挡关系； 并基于所述第一遮挡关系， 对所述多个感兴趣目标的位置特征及外观特征 进行特征融合， 得到初步的跟踪结果； 跟踪单元， 用于基于所述第 一遮挡关系及所述初步的跟踪结果确定最终的目标跟踪结 果。 9.一种电子设备， 其特 征在于， 包括： 处理器； 用于存储处理器可执行指令的存 储器； 其中， 所述处理器被配置为调用所述存储器存储的指令， 以执行权利要求1至5中任意 一项所述目标跟踪的方法以及/或权利要求7 所述的行为检测的方法。 10.一种计算机可读存储介质， 其上存储有计算机程序指令， 其特征在于， 所述计算机 程序指令被处理器执行时实现权利要求1至5中任意一项所述目标跟踪的方法以及/或权利 要求7所述的行为检测的方法。权　利　要　求　书 2/2 页 3 CN 115035158 A 3