(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210523707.5 (22)申请日 2022.05.13 (71)申请人 清华大学 地址 100084 北京市海淀区清华园1号 (72)发明人 季向阳　刘星雨　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 黄德海 (51)Int.Cl. G06T 19/20(2011.01) G06T 7/73(2017.01) (54)发明名称 类别级位姿 优化方法及装置 (57)摘要 本申请公开了一种类别级位姿优化方法及 装置， 其中， 方法包括： 基于类别级物 体位姿的初 始姿态获取类别级物体位姿的变换形状先验和 观测点云； 根据变换形状先验和观测点云提取类 别级物体位姿的形状先验和观测点云； 将形状先 验和观测点 云输入至预先训练的姿态预测模型， 得到初始位姿和准确位姿之间的位姿残差， 并利 用位姿残差得到类别级物体位姿的位姿优化结 果。 由此， 解决了相关技术中， 在进行类别级 位姿 估计时， 无法获得必须的CAD 模型， 导致类别级 位 姿优化问题求 解困难的技 术问题。 权利要求书2页 说明书9页 附图3页 CN 114998561 A 2022.09.02 CN 114998561 A 1.一种类别级位姿优化方法， 其特 征在于， 包括以下步骤： 基于类别级物体位姿的初始姿态获取所述类别级物体位姿的变换形状先验和观测点 云； 根据所述变换形状先验和观测点云提取所述类别级物体位姿的形状先验和观测点云； 以及 将所述形状先验和观测点云输入至预先训练 的姿态预测模型， 得到所述初始位姿和准 确位姿之间的位姿残差， 并利用所述 位姿残差得到所述类别级物体位姿的位姿优化结果。 2.根据权利要求1所述的方法， 其特征在于， 在提取所述类别级物体位姿的形状先验和 观测点云之后， 还 包括： 将物体坐标系下的所述形状先验和相机坐标系下的所述观测点云变换至预设标准坐 标系下， 得到所述预设标准 坐标系下的形状先验和观测点云。 3.根据权利要求2所述的方法， 其特征在于， 所述将所述形状先验和观测点云输入至预 先训练的姿态预测模型， 得到所述初始位姿和准确位姿之间的位姿残差， 包括： 利用几何信息编码器从所述预设标准坐标系下的形状先验和观测点云中提取至少一 个物体特 征； 根据所述至少一个物体特征预测所述类别级物体位姿的物体旋转量及物体平移和尺 寸； 基于所述物体旋转 量及物体平 移和尺寸得到所述 位姿残差 。 4.根据权利要求3所述的方法， 其特征在于， 所述将所述形状先验和观测点云输入至预 先训练的姿态预测模型， 得到所述初始位姿和准确位姿之间的位姿残差， 还 包括： 基于角度的损 失函数优化所述位姿残差的旋转残差预测， 并利用1范数函数优化所述 位姿残差的平 移和尺寸残差； 和/或， 基于形状先验的点匹配损失函数优化所述位姿残差的旋转残差、 平移和尺寸残 差。 5.根据权利要求1 ‑4任一项所述的方法， 其特征在于， 其中， 所述预先训练的姿态预测 模型由标准 位姿上添加随机扰动训练得到 。 6.一种类别级位姿优化装置， 其特 征在于， 包括： 获取模块， 用于基于类别级物体位姿的初始姿态获取所述类别级物体位姿的变换形状 先验和观测点云； 提取模块， 用于根据 所述变换形状先验和观测点云提取所述类别级物体位姿的形状先 验和观测点云； 以及 优化模块， 用于将所述形状先验和观测点云输入至预先训练的姿态预测模型， 得到所 述初始位姿和准确位姿之 间的位姿残差， 并利用所述位姿残差得到所述类别级物体位姿的 位姿优化结果。 7.根据权利要求6所述的装置， 其特 征在于， 还 包括： 转换模块， 用于将物体坐标系下的所述形状先验和相机坐标系下的所述观测点云变换 至预设标准 坐标系下， 得到所述预设标准 坐标系下的形状先验和观测点云。 8.根据权利要求7 所述的装置， 其特 征在于， 所述优化模块包括： 提取单元， 用于利用几何信 息编码器从所述预设标准坐标系下的形状先验和观测点云权　利　要　求　书 1/2 页 2 CN 114998561 A 2中提取至少一个物体特 征； 预测单元， 用于根据 所述至少一个物体特征预测所述类别级物体位姿的物体旋转量及 物体平移和尺寸； 计算单元， 用于基于所述物体旋转 量及物体平 移和尺寸得到所述 位姿残差 。 9.一种电子设备， 其特征在于， 包括： 存储器、 处理器及存储在所述存储器上并可在所 述处理器上运行的计算机程序， 所述处理器执行所述程序， 以实现如权利要求 1‑5任一项所 述的类别级位姿优化方法。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器 执行， 以用于实现如权利要求1 ‑5任一项所述的类别级位姿优化方法。权　利　要　求　书 2/2 页 3 CN 114998561 A 3