(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210312372.2 (22)申请日 2022.03.28 (71)申请人 上海赫千电子科技有限公司 地址 200125 上海市浦东 新区东三里桥路 1018号A座 403室 (72)发明人 肖文平　何敖东　 (51)Int.Cl. G06V 20/40(2022.01) G06K 9/62(2022.01) H04N 5/232(2006.01) H04N 7/18(2006.01) G06V 10/764(2022.01) (54)发明名称 一种应用于无 人机的目标跟踪方法及系统 (57)摘要 本发明提供一种应用于无人机的目标跟踪 方法及系统， 包括： 无人机根据无人机母车的目 标跟踪指令开启目标跟踪， 实时采集图像并发送 给无人机母 车； 无人机母车接收到无人机采集的 图像， 从图像中检测出所有的目标并提取对应目 标特征信息， 通过匹配算法获取追踪目标， 无人 机母车根据待跟踪的目标计算无人机的位姿以 使得所述跟踪目标始终位于控制终端的显示画 面中。 本发 明的技术方案通过无人机母 车操作无 人机进行目标跟踪， 无人机仅是提供采集信息， 图像和视频处理基于无人机母车进行， 能够进行 大型算法运行， 同时用户也可以在无人机母车操 作无人机可通过终端直接发送追踪目标信息给 无人机， 使得无 人机应用的场合更广。 权利要求书3页 说明书9页 附图4页 CN 115170995 A 2022.10.11 CN 115170995 A 1.一种应用于无人机的目标跟踪方法， 其特征在于， 包括： 无人机根据 无人机母车的目 标跟踪指令开启目标跟踪， 实时采集图像并发送给 无人机母车； 无人机母车接收到无人机采集的图像， 从图像中检测出所有的目标并提取对应目标特 征信息， 将目标特征信息与预设的待追踪的目标特征信息进行匹配， 若所述计算出 的匹配 度大于预设的匹配度， 则无人机母车根据待跟踪的目标计算无人机的位姿以使得跟踪目标 始终位于控制终端的显示画面中； 无人机接收到无 人机母车发送的跟踪位姿后调整自身位姿对目标进行跟踪。 2.如权利要求1所述一种应用于无人机的目标跟踪方法， 其特征在于， 若计算出的检测 目标与待跟踪目标匹配度小于预设匹配度， 无人机母车发送全方位角度采集图像的指 令给 无人机； 无人机调整旋转角度， 在不同的方向持续采集图像发送给无人机母车进行图像处理后 判断是否存在待跟踪目标。 3.如权利要求1所述一种应用于无人机的目标跟踪方法， 其特征在于， 无人机至少存储 有5帧跟踪目标的特征向量； 当无人机与无人机母 车的通信中断时， 无人机调用内置目标跟 踪算法对采集的图像进行检测并提取跟踪向量和位置， 并利用跟踪目标的特征向量与检测 目标的特征向量项进行特征匹配获取跟踪目标并调整位姿是跟踪目标始终处于监控画面 的中间区域。 4.如权利要求1所述一种应用于无人机的目标跟踪方法， 其特征在于， 当追踪目标为多 个时， 无人机母车为每个追踪目标赋予权重； 无人机的位姿调整时， 优先使得权重大的追踪 目标被追踪到； 如果所有追踪目标不能满足时， 忽略权 重低的追踪目标。 5.如权利要求1所述一种应用于无人机的目标跟踪方法， 其特征在于， 无人机与无人机 母车的通信连接， 具体包括： 无 人机开启无线通信模式通过广播发送在线信号； 无人机母车接收到无人机发送的广播信号后， 判断当前是否需要建立连接， 若需要建 立连接， 则发送需要连接无 人机的请求和连接密钥； 无人机接收到无人机母车连接请求和连接密钥后， 对连接密钥进行验证， 查询连接密 钥是否被授权连接， 若是授权连接， 则同意与无 人机母车建立连接 。 6.如权利要求5所述一种应用于无人机的目标跟踪方法， 其特征在于， 无人机发送连接 控件ID给无人机母车， 无人机母车根据连接控件ID查询本车系统内是否存在连接控制ID， 若不存在连接控制ID， 则反馈信息给 无人机母车； 无人机发送下载控件ID的链接给无人机母车， 无人机母车根据接收到的链接下载对应 控制应用程序后进行安装， 并通过控制应用程序操作无 人机。 7.如权利要求1所述一种应用于无人机的目标跟踪方法， 其特征在于， 目标跟踪至少包 括： 步骤S1， 获取 上一帧图像所有的跟踪目标ID以及跟踪目标ID对应第一特 征信息； 步骤S2， 获取当前帧图像所有的检测目标ID以及检测目标ID对应的第二特 征信息； 步骤S3， 根据卡尔曼滤波预测上一帧图像的所有的跟踪目标ID运动到当前帧图像 中的 位置信息， 获取 上一帧图像的跟踪目标ID在当前帧图像中第一 位置信息； 步骤S4， 将所有跟踪目标ID对应的第一位置信息、 第一特征信息分别与检测目标ID的 对应的第二特 征信息进行匹配， 并根据匹配结果对跟踪目标ID进行 更新；权　利　要　求　书 1/3 页 2 CN 115170995 A 2其中， 匹配结果包括未匹配跟踪目标ID、 匹配的跟踪目标ID和未匹配的检测目标ID。 8.如权利要求7所述一种应用于无人机的目标跟踪方法， 其特征在于， 在步骤S2中还包 括： 将当前帧图像输入第一神经网络模型中对存在的目标进行检测， 获取当前帧图像的目 标边界框的坐标信息和分类信息， 将当前帧图像中检测出所有的检测目标ID对应的图像输 入第二神经网络模型中提取目标ID图像的特征向量,并根据已经检测出的检测目标创建对 应的检测目标ID。 9.如权利要求7所述一种应用于无人机的目标跟踪方法， 其特征在于， 跟踪目标ID对应 的第一特征信息特至少包括： 跟踪目标位置信息、 跟踪目标特征向量、 跟踪目标的速度信 息、 已匹配的帧数、 已更新的次数中的一种或多种， 跟踪目标特征向量包括预设帧数的多个 特征向量； 检测目标ID对应的第二特征信息至少包括： 检测目标位置信 息、 检测目标特征向量、 检 测目标的速度信息、 已匹配的帧数中的一种或多种。 10.如权利要求7所述一种应用于无人机的目标跟踪方法， 其特征在于， 在步骤S4中， 跟 踪目标ID和检测目标ID的匹配具体包括： 将每一个跟踪目标ID对应的特征向量分别和所有当前帧图像的检测目标ID对应的特 征向量进行相似度计算， 然后形成由相似度组成的第一匹配矩阵matc h_matrix1； 计算每一个跟踪目标ID和检测目标ID的独立相似距离， 并由独立相似距离组成的第一 过滤矩阵fi lter_mat rix； 在将第一过滤矩阵filter_matrix中的每个元素分别与第一过滤阈值进行比较， 获取 过滤索引； 然后在第一匹配矩阵中， 将过滤索引对应的元素值置为无穷大， 形成第二匹配矩 阵match_matrix2； 利用匈牙利算法对第二匹配矩阵match_matrix2进行计算， 获取匹配跟踪目标ID、 未匹 配的检测目标ID、 未匹配的跟踪目标ID。 11.如权利要求10所述一种应用于无人机的目标跟踪方法， 其特征在于， 相似度计算公 式： 其中， AT表示跟踪目标i的特 征向量， n表示向量维度 ATm表示踪目标i的特 征向量的元 素； AD表示检测目标j的特 征向量， n表示向量维度； ADm表示检测目标j的特 征向量的元 素。 12.如权利要求10所述一种应用于无人机的目标跟踪方法， 其特征在于， 独立相似距离 的计算公式为： Dsim＝(Dd –Dp)*COV*(Dd–Dp)T 其中， Dp表示预测所有跟踪目标ID对应的坐标组成的矩阵； Dd表示所有检测目标ID对应的坐标组成的矩阵； COV表示Dd–Dp的协方差的逆矩阵。 13.如权利要求7所述一种应用于无人机的目标跟踪方法， 其特征在于， 对于未匹配的 跟踪ID和剩余的未匹配的检测目标ID再次进行第二次匹配， 第二次匹配具体包括：权　利　要　求　书 2/3 页 3 CN 115170995 A 3