(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210669897.1 (22)申请日 2022.06.14 (71)申请人 北京邮电大 学 地址 100876 北京市海淀区西土城路10号 (72)发明人 闫丹凤　蔡院强　赵岳　刘子豪　 郭熙东　陈梦实　 (74)专利代理 机构 北京挺立专利事务所(普通 合伙) 11265 专利代理师 高福勇 (51)Int.Cl. G06T 7/246(2017.01) G06T 7/73(2017.01) G06T 7/80(2017.01) G06V 10/82(2022.01) G06V 20/40(2022.01)G06V 40/10(2022.01) (54)发明名称 基于视觉slam的监控视频人员定位跟踪方 法及系统 (57)摘要 本发明公开了一种基于视觉slam的监控视 频人员定位跟踪方法及系统， 使用深度摄像头对 环境进行三维重建， 得到环境的点云地图； 将外 参标定结合到监控摄像头的场景下， 通过标定板 对监控摄像头进行外参标定， 得到监控摄像头的 位置和姿态信息； 通过监控摄像头对 人员进行跟 踪， 利用深度神经网络识别出监控图像中的人 物， 基于先前标定出的位置和姿态， 采用逆透视 变换的原理依据监控中出现的行人在地面上的 先验计算出人物的三维位置， 实现在已构建的点 云地图中对 人员轨迹进行绘制， 并使其呈现在点 云地图中。 权利要求书3页 说明书16页 附图7页 CN 115035162 A 2022.09.09 CN 115035162 A 1.一种基于视觉slam的监控视频人员 定位跟踪方法， 其特征在于， 使用深度摄像头对 环境进行三维重建， 得到环境的点云地图； 将 外参标定结合到监控摄像头的场景下， 通过标 定板对监控摄像头进行外参标定， 得到监控摄像头的位置和姿态信息； 通过监控摄像头对 人员进行跟踪， 利用深度神经网络识别出监控图像中的人物， 基于先前标定出 的位置和姿 态， 采用逆透视变换的原理依据监控中出现的行人在地面上的先验计算出人物的三维位 置， 实现在已构建的点云地图中对人员轨 迹进行绘制， 并使其呈现在点云地图中。 2.根据权利要求1所述的基于视觉slam的监控视频人员定位跟踪方法， 其特征在于， 包 括以下步骤： S1、 基于视觉slam的三维重建： 构 建场景的三维点云地图和记录外参标定所需的数据， 将深度摄像头提供的RGBD图片流和惯性传感器数据， 依据视觉里程计构建场景的三 维点云 地图并保存至文件中； 在三维重建过程中， 拍摄棋盘 格标定板并记录此时相机的位置姿态； S2、 标定： 监控摄像头拍摄一张棋盘格标定板的监控画面照片， 结合步骤S1三维重建时 提供的标定数据， 计算出监控摄 像头在三维点云地图中的位置与姿态； S3、 监控摄像头中行人的位置跟踪与计算： 对人员进行跟踪， 依据步骤S2得出的位置与 姿态数据和监控摄像头提供的监控视频流， 识别出图像中人物的位置并给出该人物在三 维 点云地图中的位置； 监控摄像头中行 人的位置跟踪与计算方流 程为： S31、 依据自身监控摄像头的种类和是否发生过移动选择是否进入姿态校正流程， 是则 进入步骤S32， 否则进入步骤S3 3； S32、 若进入姿态校正流程， 提取图像中的消失点并比对消 失点位置， 依据消 失点是否 移动判定监控画面是否发生旋转， 更新旋转； S33、 进入定位 流程， 首先取一帧监控视频图像； S34、 对图像中的行 人进行目标检测， 获得目标框坐标； S35、 对检测到的目标框进行目标跟踪， 给 出其对应的人员位置坐标； S36、 依据监控摄 像头的标定参数计算人员的空间位置坐标； S37、 如果 不终止定位， 则获取 下一帧图像并返回步骤S3 3， 否则结束。 3.根据权利要求2所述的基于视觉slam的监控视频人员定位跟踪方法， 其特征在于， 步 骤S1场景的三 维点云地图的构建过程增加点云地图处理线程， 用于接受传 入的每一帧相机 的位姿信息和RGBD图像帧， 输出准确的点云地图， 具体流 程如下： S141、 对传入 的每一帧深度摄像头的位姿信息和RGBD图像帧进行筛选， 当前帧与上一 个已选取帧之间的相机角度变化大于10 °且位移变化大于2米时， 选择当前帧， 进行后续点 云地图生成操作； S142、 计算当前帧的点云块， 并将其旋转至统一的世界坐标系下； S143、 对所有帧生成的点云块进行拼接合并， 得到整体的点云地图， 对点云地图做滤波 与去除离群点的处 理， 以压缩点云地图的数据量， 同时优化 地图的视 觉观感； S144、 当在建图过程中发生回环时， ORB ‑SLAM3重新优化已选取帧的位姿， 将点云重新 拼接， 并按照步骤S143 重新做点云处 理操作。 4.根据权利要求2所述的基于视觉slam的监控视频人员定位跟踪方法， 其特征在于， 步 骤S2外参标定方法为：权　利　要　求　书 1/3 页 2 CN 115035162 A 2S21、 监控摄像头拍摄标棋盘格标定板： 选择世界坐标系的原点位置， 监控摄像头从原 点位置开始慢慢向棋盘格标定板方向移动， 在这个过程中使用ORB_SLAM3实时对监控摄像 头的位姿进 行估计， 当监控摄像头移动到棋盘格标定板前方时， 关闭程序， 保存当前监控摄 像头所拍摄的照片以及相机的位姿； S22、 监控摄像头内参标定： 将棋盘格标定板置于监控摄像头范围内， 多角度移动棋盘 格标定板， 录制一段视频， 抽取视频中的帧， 识别出棋盘格， 使用张正友标定法标定出监控 摄像头的内参和畸变； S23、 监控摄像头外参标定： 根据目标特征点的实际三维位置信息以及目标特征点在图 像中的二维位置， 采用直接线性变换的方法， 求解相机坐标系与目标坐标系， 实现监控摄像 头与三维点云地图之间的相对位置关系的计算。 5.根据权利要求2所述的基于视觉slam的监控视频人员定位跟踪方法， 其特征在于， 步 骤S36中人员的空间位置坐标计算方法为： 依据监控摄 像头的位姿变换矩阵求得监控摄 像头的相机模型光心Pow＝(Xow， Yow， Zow)： Pow＝‑RTt#(21) 取待定位人物的目标框的下底边中点M(u， v)， 依据投影方程计算M点在归一化平面上 的空间位置， 设深度d为1米， 依据公式(22)求解出点M在归一化平面上的空间坐标Pm＝(Xm， Ym， Zm)； 依据地面在世界坐标系中的高度h， 给出地面所在平面的方程如式(24)所示， 将地面所 在平面转换为平面上一 点和法向量表示： z＝h#(23) p0＝(0， 0， h)， 将 射 线 写 作参 数 方 程 如 (2 5) 所 示 ， 其中 为 射 线的 方向 向 量 ， t为参数t∈[0， ∞)， 设射线 与地面所在平面交点 为Pg， 则有： 式(26)整理后得到： 由向量点乘分配律得：权　利　要　求　书 2/3 页 3 CN 115035162 A 3