(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210576177.0 (22)申请日 2022.05.24 (71)申请人 广东人工智能与先进计算研究院 地址 510530 广东省广州市黄埔区开源大 道11号B2栋801室 申请人 芯跳科技 （广州） 有限公司 (72)发明人 蒿杰　詹恒泽　孙亚强　梁俊　 史佳锋　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 霍秋红 (51)Int.Cl. G06T 7/246(2017.01) G06T 7/73(2017.01) G06T 17/05(2011.01)G06T 19/20(2011.01) (54)发明名称 时间戳校正方法、 装置、 设备、 介质及计算机 程序产品 (57)摘要 本发明提供一种时间戳校正方法、 装置、 设 备、 介质及计算机程序产品， 该方法包括： 获取相 机图像， 选取所述相机图像中的关键帧图像， 提 取相邻关键帧图像 之间的运动数据； 对所述运动 数据进行预积分， 得到所述相邻关键帧图像的相 对位姿， 以及所述相对位姿对应的运动残差； 根 据所述关键帧图像对应的路标点和所述运动残 差， 计算所述关键帧图像与所述运动数据之间的 时差； 根据所述时差对所述关键帧图像的时间戳 和所述运动数据的时间戳进行校正。 本发明用以 解决现有技术中相机和IMU之间的时间戳存在偏 差的缺陷， 提高视 觉惯性里程计的计算精度。 权利要求书2页 说明书9页 附图2页 CN 115239758 A 2022.10.25 CN 115239758 A 1.一种时间戳校正方法， 其特 征在于， 包括： 获取相机 图像， 选取所述相机 图像中的关键帧图像， 提取相邻关键帧图像之间的运动 数据； 对所述运动数据进行预积分， 得到所述相邻关键帧图像的相对位姿， 以及所述相对位 姿对应的运动残差； 根据所述关键帧图像对应的路标点和所述运动残差， 计算所述关键帧图像与 所述运动 数据之间的时差； 根据所述时差对所述关键帧图像的时间戳和所述 运动数据的时间戳进行 校正。 2.根据权利要求1所述的时间戳校正方法， 其特征在于， 所述获取相机 图像， 选取所述 相机图像中的关键帧图像， 提取相邻关键帧图像之间的运动数据的步骤 包括： 根据第一预设采集频率和预设时段获取相机图像， 根据 预设规则 选取所述相机图像中 的关键帧图像； 根据第二预设采集频率和所述预设时段获取惯性传感器IMU数据； 根据所述 IMU数据提取相邻关键帧图像之间的运动数据。 3.根据权利要求1所述的时间戳校正方法， 其特征在于， 所述对所述运动数据进行预积 分， 得到所述相邻关键帧图像的相对位姿， 以及所述相对位姿对应的运动残差的步骤 包括： 对所述运动数据进行预积分， 得到所述相邻关键帧图像的相对位姿， 其中， 所述相对位 姿包括位置差、 速度差和转角差； 根据所述 位置差、 所述速度差和所述 转角差计算 运动残差 。 4.根据权利要求1所述的时间戳校正方法， 其特征在于， 所述根据 所述关键帧图像对应 的路标点和所述 运动残差， 计算所述关键帧图像与所述 运动数据之间的时差的步骤 包括： 根据所述关键帧图像对应的路标点， 计算所述关键帧图像与 所述路标点之间的重投影 误差； 根据所述重投影误差和所述运动残差， 计算所述关键帧图像与 所述运动数据之间的时 差。 5.根据权利要求4所述的时间戳校正方法， 其特征在于， 所述根据 所述重投影误差和所 述运动残差， 计算所述关键帧图像与所述 运动数据之间的时差的步骤 包括： 获取所述相对位姿对应的第一信息矩阵， 以及所述重投影误差对应的第二信息矩阵； 根据所述重投影误差、 所述运动残差、 所述第 一信息矩阵以及所述第 二信息矩阵， 确定 优化方程； 根据所述优化方程， 计算所述关键帧图像与所述 运动数据之间的时差 。 6.根据权利要求5所述的时间戳校正方法， 其特征在于， 所述根据所述优化方程， 计算 所述关键帧图像与所述 运动数据之间的时差的步骤 包括： 将所述关键帧图像的顶点坐标和边特征点代入所述优化方程， 计算得到所述关键帧图 像与所述 运动数据之间的时差 。 7.一种时间戳校正装置， 其特 征在于， 包括： 运动数据提取模块， 用于获取相机图像， 选取所述相机图像中的关键帧图像， 提取相邻 关键帧图像之间的运动数据； 预积分模块， 用于对所述运动数据进行预积分， 得到所述相邻关键帧图像的相对位姿，权　利　要　求　书 1/2 页 2 CN 115239758 A 2以及所述相对位姿对应的运动残差； 时差计算模块， 用于根据所述关键帧图像对应的路标点和所述运动残差， 计算所述关 键帧图像与所述 运动数据之间的时差； 时间戳校正模块， 用于根据 所述时差对所述关键帧图像的时间戳和所述运动数据的时 间戳进行 校正。 8.一种电子设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上运 行的计算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求1至6任一项所 述时间戳校正方法。 9.一种非暂态计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机 程序被处 理器执行时实现如权利要求1至 6任一项所述时间戳校正方法。 10.一种计算机程序产品， 包括计算机程序， 其特征在于， 所述计算机程序被处理器执 行时实现如权利要求1至 6任一项所述时间戳校正方法。权　利　要　求　书 2/2 页 3 CN 115239758 A 3