(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210459965.1 (22)申请日 2022.04.28 (71)申请人 腾讯科技 （深圳） 有限公司 地址 518000 广东省深圳市南 山区高新区 科技中一路腾讯大厦3 5层 (72)发明人 林诗峰　王尊冉　凌永根　 (74)专利代理 机构 深圳市联鼎知识产权代理有 限公司 4 4232 专利代理师 徐明霞 (51)Int.Cl. G06T 7/73(2017.01) (54)发明名称 姿态估计方法、 装置、 相关设备和计算机产 品 (57)摘要 本公开提供一种姿态估计方法、 装置、 电子 设备、 计算机可读存储介质和计算机产品， 涉及 人工智能技术领域， 该方法包括： 获取目标对象 的模型上的模型关键点在模型坐标系下的模型 坐标值； 获取包括目标对象的目标图像； 对目标 图像进行关键点偏置预测， 确定目标图像中的各 个点在相机坐标系下相对于预测关键点的位置 偏置； 根据目标图像中的各个点在相机坐标系下 相对于预测关键点的位置偏置， 确定预测关键点 在相机坐标系下的相机坐标值； 将模 型关键点的 模型坐标值与预测关键点的相机坐标值进行拼 接， 获得融合坐标值； 根据所述融合坐标值和所 述目标对象的模型确定所述目标对象在所述相 机坐标系下的姿态。 权利要求书3页 说明书22页 附图14页 CN 115115699 A 2022.09.27 CN 115115699 A 1.一种姿态估计方法， 其特 征在于， 包括： 获取目标对象的模型 上的模型关键点在模型坐标系下的模型坐标值； 获取目标图像， 所述目标图像是对所述目标对象进行图像采集后获得的； 对所述目标图像进行关键点偏置预测， 确定所述目标图像中的各个点在相机坐标系下 相对于预测关键点的位置偏置， 所述预测关键点是在所述相机坐标系下为所述目标对象预 测的关键点； 根据所述目标图像中的各个点在相机坐标系下相对于预测关键点的位置偏置， 确定所 述预测关键点在所述相机坐标系下的相机坐标值； 将所述模型关键点的模型坐标值与 所述预测关键点的相机坐标值进行拼接， 获得融合 坐标值； 根据所述融合坐标值和所述目标对象的模型确定所述目标对象在所述相机坐标系下 的姿态。 2.根据权利要求1所述方法， 其特征在于， 根据所述目标图像中的各个点在相机坐标系 下相对于预测关键点的位置偏置， 确定所述预测关键点在所述相机坐标系下的相机坐标 值， 包括： 对所述目标图像进行语义分割， 以在所述目标图像中的各个点中确定用于对所述目标 对象进行描述的多个目标点； 根据所述各个点相对于所述预测关键点的位置偏置确定各个目标点相对于所述预测 关键点的位置偏置； 根据所述各个目标点相对于所述预测关键点的位置偏置确定所述预测关键点的多个 候选相机坐标值； 根据所述多个候选相机坐标值确定所述预测关键点在所述相机坐标系下的相机坐标 值。 3.根据权利要求2所述方法， 其特征在于， 根据所述多个候选相机坐标值确定所述预测 关键点在所述相机坐标系下的相机坐标值， 包括： 确定所述多个候选相机坐标值对应的坐标值均值和坐标值方差； 根据所述坐标值均值和所述坐标值方差对各个候选相机坐标值分别进行高斯标准化， 以便根据高斯标准 化结果确定各个候选相机坐标值的收敛置信度； 将收敛置信度大于目标阈值的候选相机坐标值剔除， 以获得收敛相机坐标值； 根据所述收敛相机坐标值以及所述收敛相机坐标值的收敛置信度确定所述预测关键 点在所述相机坐标系下的相机坐标值。 4.根据权利要求3所述方法， 其特征在于， 根据所述收敛相机坐标值以及所述收敛相机 坐标值的收敛置信度确定所述预测关键点在所述相机坐标系下的相机坐标值， 包括： 以所述收敛置信度为权重对各个收敛相机坐标值进行加权求和处理， 以确定所述预测 关键点在所述相机坐标系下的相机坐标值。 5.根据权利要求2所述方法， 其特征在于， 根据所述多个候选相机坐标值确定所述预测 关键点在所述相机坐标系下的相机坐标值， 包括： 根据所述多个候选相机坐标值确定坐标值均值， 并将所述坐标值均值作为所述预测关 键点在所述相机坐标系下的相机坐标值； 或者，权　利　要　求　书 1/3 页 2 CN 115115699 A 2对所述多个候选相机坐标值进行聚类处理， 并将聚类中心对应的坐标值作为所述预测 关键点在所述相机坐标系下的相机坐标值。 6.根据权利要求2所述方法， 其特征在于， 所述目标图像是目标图像采集设备采集的， 所述相机坐标系是根据所述 目标图像采集设备构建的坐标系； 其中， 根据所述各个目标点 相对于所述预测关键点的位置偏置确定所述预测关键点的多个候选相机坐标值， 包括： 获取所述目标图像采集设备的内参信息； 通过所述图像采集设备的内参信 息对所述目标图像进行处理， 以确定所述各个目标点 在所述相机坐标系下的坐标值； 根据所述各个目标点在所述相机坐标系下的坐标值和所述各个目标点相对于所述预 测关键点的位置偏置， 确定所述预测关键点的所述多个候选相机坐标值。 7.根据权利要求1所述方法， 其特征在于， 所述目标图像是包括目标深度图信 息和目标 色彩图信息的色彩深度图； 其中， 对所述目标图像进 行关键点偏置预测， 确定所述目标图像 中的各个点在相机坐标系下相对于预测关键点的位置偏置， 包括： 对所述目标色彩图信息进行 特征提取以获得色彩特 征； 对所述目标深度图信息进行 特征提取以获得深度特 征； 将所述色彩特 征与所述深度特 征进行特征融合， 获得色彩深度融合特 征； 对所述色彩深度融合特征进行关键点偏置预测， 以确定所述目标图像中的各个点相对 于所述预测关键点的位置偏置 。 8.根据权利要求1所述方法， 其特征在于， 根据所述融合坐标值和所述目标对象的模型 确定所述目标对象在所述相机坐标系下的姿态， 包括： 根据所述融合坐标值确定所述模型关键点和所述预测关键点之间的预测旋转平移矩 阵； 根据所述预测旋转平移矩阵对所述目标对象的模型进行旋转平移， 确定所述目标对象 在所述相机坐标系下的姿态。 9.根据权利要求1所述方法， 其特征在于， 根据所述融合坐标值确定所述模型关键点和 所述预测关键点之间的预测旋转平 移矩阵， 包括： 通过目标 卷积结构对所述融合 坐标值进行 特征提取以获得融合 坐标特征； 通过目标分类 器对所述融合 坐标特征进行预测处理， 以确定所述预测旋转平 移矩阵。 10.根据权利要求9所述方法， 其特征在于， 所述预测旋转平移矩阵包括旋转矩阵， 所述 旋转矩阵包括第一旋转方向、 第二旋转方向以及第三旋转方向； 其中， 通过目标分类器对所 述融合坐标特征进行预测处理， 以确定所述预测旋转平 移矩阵， 包括： 通过目标分类器对所述融合坐标特征进行预测处理， 确定所述旋转矩阵在所述第 一旋 转方向上的第一旋转数据和在所述第二旋转方向上的第二旋转数据； 对所述第一旋转数据进行归一 化处理， 以获得第一旋转归一 化数据； 将所述第一旋转归一化数据和所述第 二旋转数据进行叉乘、 并对叉乘后结果进行归一 化处理， 获得所述旋转矩阵在所述第三旋转方向上的第三旋转归一 化数据； 将所述第一旋转归一化数据和所述第 三旋转归一化数据进行叉乘， 获得所述旋转矩阵 在所述第二旋转方向上的第二旋转归一 化数据。 11.根据权利要求1所述方法， 其特征在于， 所述姿态估计方法由目标网络模型执行； 其权　利　要　求　书 2/3 页 3 CN 115115699 A 3