(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221074248 8.X (22)申请日 2022.06.27 (71)申请人 北京易航远智科技有限公司 地址 100015 北京市朝阳区酒仙桥北路7号 60幢一层0 30 (72)发明人 范圣印　李雪　孙文昭　曲倩文　 (74)专利代理 机构 北京庚致知识产权代理事务 所(特殊普通 合伙) 11807 专利代理师 孙敬霞　韩德凯 (51)Int.Cl. G06T 7/73(2017.01) G06T 7/80(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G01S 17/86(2020.01) (54)发明名称 对象标注方法、 装置、 电子设备及存 储介质 (57)摘要 本公开提供了一种对象标注方法， 包括： 获 取多个传感器采集的数据； 对图像数据和激光点 云数据进行初次时空对齐， 获得初次时空对齐后 的激光点云数据及图像数据； 以预设时间长度对 初次时空对齐后的激光点云数据及图像数据进 行分组， 获取各分段数据对应的RTK方差； 基于 各 分段数据对应的RTK方差， 判断是否使用车体 IMU/轮速数据对车体RTK位姿序列数据进行位姿 优化以对图像数据和激光点云数据进行二次时 空对齐； 对激光点云数据和图像数据分别进行3D 对象检测和2D对象检测， 以进行对象标注。 本公 开还提供了一种基于多帧数据累积的方法以进 行自动标注。 本公开还提供了对象标注装置、 电 子设备及存 储介质。 权利要求书4页 说明书18页 附图6页 CN 114998436 A 2022.09.02 CN 114998436 A 1.一种对象标注方法， 其特 征在于， 包括： S110、 获取多个传感器采集的数据， 所述数据包括图像数据、 激光点云数据、 车体RTK位 姿序列数据及车体IMU/轮速数据； S120、 基于图像数据的时间戳、 激光点云数据的时间戳及车体RTK位姿序列数据， 对图 像数据和激光点云数据进 行初次时空对齐， 获得初次时空对齐后的激光点云数据及图像数 据； S130、 以预设时间长度对初次时空对齐后的激光点云数据及图像数据进行分组， 获取 各分段数据对应的RTK 方差； S140、 基于各分段数据对应 的RTK方差， 判断是否使用车体IMU/轮速数据对车体RTK位 姿序列数据进 行位姿优化以对图像数据和激光点云数据进 行二次时空对齐， 获得二次时空 对齐后的激光 点云数据及图像数据； 以及 S160、 对激光点云数据和图像数据分别进行3D对象检测和2D对象检测， 以进行对象标 注。 2.根据权利要求1所述的对象标注方法， 其特 征在于， 步骤S1 10之后， 还 包括： S115、 对激光 点云数据及图像数据进行累积； 步骤S160中， 对累积的激光点云数据和累积的图像数据分别 进行所述3D对象检测和所 述2D对象检测。 3.根据权利 要求1或2所述的对象标注方法， 其特征在于， S110、 获取多个传感器采集的 数据， 包括： 将图像数据由相机坐标系变换至车体坐标系， 将激光点云数据由激光雷达坐标系变换 至车体坐标系。 4.根据权利要求3所述的对象标注方法， 其特征在于， 多个传感器采集的各类型数据记 录在统一的时间轴上。 5.根据权利 要求1所述的对象标注方法， 其特征在于， S120、 基于图像数据的时间戳、 激 光点云数据的时间戳及车体RTK位姿序列数据， 对图像数据和激光点云数据进行初次时空 对齐， 获得初次 时空对齐后的激光 点云数据及图像数据， 包括： S1202、 对于某一时刻的激光点云数据， 寻找与该时刻最邻近时刻的图像数据， 获取两 个时刻之间的时间差； S1204、 从所述车体RTK位姿序列数据中提取包括上述两个时刻的世界坐标系下的RTK 位姿序列， 以获取 上述两个时刻分别对应的位姿； S1206、 获取所述时间差对应的世界坐标系下的位姿差； 以及 S1208、 基于所述位姿差对车体坐标系下的激光点云数据进行修正， 以获得与车体坐标 系下的图像数据时空对齐的激光 点云数据。 6.根据权利 要求2所述的对象标注方法， 其特征在于， S120、 基于图像数据的时间戳、 激 光点云数据的时间戳及车体RTK位姿序列数据， 对图像数据和激光点云数据进行初次时空 对齐， 获得初次 时空对齐后的激光 点云数据及图像数据， 包括： S1202、 对于某一时刻的激光点云数据， 获取该时刻与累积时间段内的初始雷达图像采 集时刻之间的时间差； S1204、 从所述车体RTK位姿序列数据中提取包括上述两个时刻的世界坐标系下的RTK权　利　要　求　书 1/4 页 2 CN 114998436 A 2位姿序列， 以获取 上述两个时刻分别对应的位姿； S1206、 获取所述时间差对应的世界坐标系下的位姿差； 以及 S1208、 基于所述位姿差对车体坐标系下的激光点云数据进行修正， 以获得与车体坐标 系下的图像数据时空对齐的激光 点云数据。 7.根据权利 要求5或6所述的对象标注方法， 其特征在于， S130、 以预设时间长度对初次 时空对齐后的激光 点云数据及图像数据进行分段， 获取 各分段数据对应的RTK 方差， 包括： 获取RTK方差时， 对所有自由度的RTK 方差分别进行统计； 优选地， S140、 基于各分段数据对应的RTK方差， 判断是否使用车体IMU/轮速数据对车 体RTK位姿序列数据进行位姿优化以对图像数据和激光点云数据进行二次时空对齐， 获得 二次时空对齐后的激光 点云数据及图像数据， 包括： 当各个自由度的RTK方差均小于或等于方差阈值时， 判定为不使用车体IMU/轮速数据 对车体RTK位姿序列数据进行位姿优化， 否则， 判定为使用车体IMU/轮速数据对车体RTK位 姿序列数据进行位姿优化； 优选地， 步骤S140中， 使用车体IMU/轮速数据对车体RTK位姿序列数据进行位姿优化， 包括： 对于RTK方差超过方差阈值的某段数据， 获取最接近且早于该段数据的起始时间的第 一IMU数据， 将其对应的时间作为起点， 获取最接近且晚于该段数据的终止时间的第二IMU 数据， 将其对应的时间作为终点； 在所述起点和所述终点之间， 对于每一个图像数据的采集时刻t1和每一个激光点云数 据的采集时刻t2， 进行以下处 理： 基于轮速数据获取车体在起点时刻至终点 时刻的平移量Δx； 基于IMU数据获取车体在 起点时刻至终点时刻的x、 y、 z方向的旋转角度差 Δyaw、 Δpitc h和Δroll； 通过旋转角度差Δyaw、 Δpitch和 Δroll与所述平移量Δx积分， 获取车体在t1至t2时 间段内沿y轴和z轴方向上的平移量Δy和平移量Δz， 即车体在t1至t2时间段内的位姿变化 量； 优选地， 步骤S140中， 使用车体IMU/轮速数据对车体RTK位姿序列数据进行位姿优化， 还包括： 以所述位姿变化 量替换RTK方差超过 方差阈值的数据对应的所述 位姿差； 优选地， S160、 对激光点云数据和图像数据分别 进行3D对象检测和2D对象检测， 以进行 对象标注， 包括： 使用基于BEV的目标检测方法、 基于range  view的目标检测方法、 基于point ‑wise  feature的目标检测方法或者基于融合特征的目标检测方法对激光点云数据中的3D对象进 行检测； 使用基于Cascade/基于Haar/SVM的目标检测算法、 基于R ‑CNN/基于F ast R‑CNN的候选 区域/框+深度 学习分类算法或者基于RRC  detection/基于Deformable  CNN的深度学习检 测方法对图像数据中的2D对象进行检测； 以及 基于图像数据的特征图和激光点云数据的特征图的权重， 使用Mixture  of Experts进 行建模， 并通过拼接操作进行 特征融合， 以完成3D对象与2D对象的自动检测； 优选地， S160、 对激光点云数据和图像数据分别 进行3D对象检测和2D对象检测， 以进行权　利　要　求　书 2/4 页 3 CN 114998436 A 3